-
隱含狄利克雷分佈
鎖定
- 中文名
- 隱含狄利克雷分佈
- 外文名
- Latent Dirichlet Allocation, LDA
- 類 型
- 機器學習算法,聚類算法
- 提出者
- David M.Blei,Andrew Ng,
- 提出時間
- 2003年
- 學 科
- 統計學,人工智能
- 應 用
- 自然語言處理
隱含狄利克雷分佈歷史
隱含狄利克雷分佈理論與算法
隱含狄利克雷分佈模型
LDA是一種典型的詞袋模型,即它認為一篇文檔是由一組詞構成的一個集合,詞與詞之間沒有順序以及先後的關係。一篇文檔可以包含多個主題,文檔中每一個詞都由其中的一個主題生成。
從狄利克雷分佈
中取樣生成文檔i的主題分佈
從主題的多項式分佈
中取樣生成文檔i第j個詞的主題
從狄利克雷分佈
中取樣生成主題
的詞語分佈
從詞語的多項式分佈
中採樣最終生成詞語
因此整個模型中所有可見變量以及隱藏變量的聯合分佈是
最終一篇文檔的單詞分佈的最大似然估計可以通過將上式的{\displaystyle \theta _{i}}以及{\displaystyle \Phi }進行積分和對{\displaystyle z_{i}}進行求和得到
隱含狄利克雷分佈求解
變分貝葉斯估計(variational Bayesian inference)
LDA在提出之初,被設計為使用變分貝葉斯估計,即變分貝葉斯EM進行求解。
馬爾可夫鏈蒙特卡羅(Markov chain Monte Carlo, MCMC)
LDA可以使用MCMC中常見的使用吉布斯採樣(Gibbs Sampling)算法進行求解,其過程如下:
- 首先對所有文檔中的所有詞遍歷一遍,為其都隨機分配一個主題,即zm,n=k~Mult(1/K),其中m表示第m篇文檔,n表示文檔中的第n個詞,k表示主題,K表示主題的總數,之後將對應的nm+1, nm+1, nk+1, nk+1, 他們分別表示在m文檔中k主題出現的次數,m文檔中主題數量的和,k主題對應的t詞的次數,k主題對應的總詞數。
- 之後對下述操作進行重複迭代。
- 對所有文檔中的所有詞進行遍歷,假如當前文檔m的詞t對應主題為k,則nm-1, nm-1, nk-1, nk-1, 即先拿出當前詞,之後根據LDA中topic sample的概率分佈sample出新的主題,在對應的nm, nm, nk, nk上分別+1。
隱含狄利克雷分佈性質
隱含狄利克雷分佈應用
LDA在自然語言處理領域,包括文本挖掘(text mining)及其下屬的文本主題識別、文本分類以及文本相似度計算方面有應用。
- 詞條統計
-
- 瀏覽次數:次
- 編輯次數:4次歷史版本
- 最近更新: 唐浩川和晨晨