複製鏈接
請複製以下鏈接發送給好友
https://baike.baidu.hk/item/變分貝葉斯估計/23211107
複製
複製成功

變分貝葉斯估計

鎖定
變分貝葉斯估計（variational Bayesian inference）是統計推斷中變分方法（variational method）的應用之一，能夠以迭代方式在給定的變分族（variational family）中對概率模型的隱變量（latent variable）後驗分佈進行局部最優估計 [1]  。
變分貝葉斯估計通過平均場理論（Mean Field Theory, MFT）將隱變量的後驗按維度展開得到計算框架，並按維度迭代更新估計結果至算法收斂。基於極大後驗估計的最大期望算法（Expectation-Maximization algorithm, EM）是變分貝葉斯估計的特例之一 [2]  。
變分貝葉斯估計可以作為馬爾可夫鏈蒙特卡羅（Markov chain Monte Carlo, MCMC）的低計算量替代方法，也被應用於一些機器學習（machine learning）算法，例如變分自編碼器（variational autoencoder）的學習 [3]  。
中文名
變分貝葉斯估計
外文名
variational Bayesian inference
類    型
優化算法
學    科
統計學
應    用
參數估計，機器學習

目錄

  1. 1 理論
  2. 2 算法
  3. 3 應用

變分貝葉斯估計理論

給定
維觀測數據
和包含隱變量
的統計模型，由貝葉斯定理（Bayes' theorem），隱變量的後驗有如下表示：
變分貝葉斯估計的求解目標是在給定的變分族
內，找到隱變量後驗分佈的最優近似，利用Kullback-Leibler散度（Kullback-Leibler divergence），該優化問題有如下表示 [3]  ：
由KL散度的性質可知，當隱變量的後驗分佈在變分族之內，例如二者均為指數族分佈，則上式得到全局最優，其它情形下得到局部最優。對該優化問題，變分貝葉斯估計使用平均場理論（Mean Field Theory, MFT）將
維的後驗分佈近似為一系列一維概率分佈的乘積並分別求解KL散度 [3]  ：
注意到變分貝葉斯估計通常不是無偏的，若
本身不是變分族的成員，則上式中的KL散度不等於0.

變分貝葉斯估計算法

這裏對變分貝葉斯估計的一般計算框架進行推導。將KL散度帶入上式的優化問題中可有如下展開 [3]  ：
將式中的求和符號內的
按等於和不等於
分開並將不等於
的部分合併為常數
，則上式可化為 [3]  ：
可知，上述積分是KL散度的定義，因此變分貝葉斯估計的優化問題有如下表示 [3]  ：
此即是變分貝葉斯估計的計算框架。

變分貝葉斯估計應用

變分貝葉斯估計可以應用於完整的貝葉斯推斷（full Bayesian inference），即對後驗分佈按因子展開進行近求解。在最大期望算法（Expectation-Maximization algorithm, EM）的E步中對隱變量後驗分佈的求解可以通過變分貝葉斯估計實現，形成變分貝葉斯EM（Variational Bayesian EM algorithm, VBEM） [3]  。
參考資料
  • 1.    Fox, C.W. and Roberts, S.J., 2012. A tutorial on variational Bayesian inference. Artificial intelligence review, 38(2), pp.85-95.
  • 2.    McLachlan, G. and Krishnan, T.．The EM algorithm and extensions (Vol. 382)：John Wiley & Sons，2007：276-277
  • 3.    Polykovskiy, D. and Novikov, A., Bayesian Methods for Machine Learning   ．Coursera and National Research University Higher School of Economics．2017[引用日期2018-12-17]