受限玻爾茲曼機

受限玻爾茲曼機是玻爾茲曼機(Boltzman machine，BM)的一種特殊拓撲結構。BM的原理起源於統計物理學，是一種基於能量函數的建模方法，能夠描述變量之間的高階相互作用，BM的學習算法較複雜，但所建模型和學習算法有比較完備的物理解釋和嚴格的數理統計理論作基礎。BM是一種對稱耦合的隨機反饋型二值單元神經網絡，由可見層和多個隱層組成，網絡節點分為可見單元(visible unit)和隱單元(hidden unit)，用可見單元和隱單元來表達隨機網絡與隨機環境的學習模型，通過權值表達單元之間的相關性。 ^[1] 

正如名字所提示的那樣，受限玻茲曼機是一種玻茲曼機的變體，但限定模型必須為二分圖。模型中包含對應輸入參數的輸入（可見）單元和對應訓練結果的隱單元，每條邊必須連接一個可見單元和一個隱單元。（與此相對，“無限制”玻茲曼機包含隱單元間的邊，使之成為遞歸神經網絡。）這一限定使得相比一般玻茲曼機更高效的訓練算法成為可能，特別是基於梯度的對比分歧（contrastive divergence）算法。

受限玻茲曼機也可被用於深度學習網絡。具體地，深度信念網絡可使用多個RBM堆疊而成，並可使用梯度下降法和反向傳播算法進行調優。

以Hinton和Ackley兩位學者為代表的研究人員從不同領域以不同動機同時提出BM學習機。

Smolensky提出的RBM由一個可見神經元層和一個隱神經元層組成，由於隱層神經元之間沒有相互連接並且隱層神經元獨立於給定的訓練樣本，這使直接計算依賴數據的期望值變得容易，可見層神經元之間也沒有相互連接，通過從訓練樣本得到的隱層神經元狀態上執行馬爾可夫鏈抽樣過程，來估計獨立於數據的期望值，並行交替更新所有可見層神經元和隱層神經元的值。

BM是由Hinton和Sejnowski提出的一種隨機遞歸神經網絡，可以看做是一種隨機生成的Hopfield網絡，是能夠通過學習數據的固有內在表示解決困難學習問題的最早的人工神經網絡之一，因樣本分佈遵循玻爾茲曼分佈而命名為BM。BM由二值神經元構成，每個神經元只取1或0這兩種狀態，狀態1代表該神經元處於接通狀態，狀態0代表該神經元處於斷開狀態。在下面的討論中單元和節點的意思相同，均表示神經元。 ^[2] 

標準的受限玻爾茲曼機由二值（布爾/伯努利）隱層和可見層單元組成。權重矩陣

中的每個元素指定了隱層單元

和可見層單元

之間邊的權重。此外對於每個可見層單元

有偏置

，對每個隱層單元

有偏置

以及在這些定義下，一種受限玻爾茲曼機配置（即給定每個單元取值）的“能量”

被定義為

或者用矩陣的形式表示如下：

這一能量函數的形式與霍普菲爾德神經網絡相似。在一般的玻爾茲曼機中，隱層和可見層之間的聯合概率分佈由能量函數給出：

其中，

為配分函數，定義為在節點的所有可能取值下

的和（亦即使得概率分佈和為1的歸一化常數）。類似地，可見層取值的邊緣分佈可通過對所有隱層配置求和得到：

由於RBM為一個二分圖，層內沒有邊相連，因而隱層是否激活在給定可見層節點取值的情況下是條件獨立的。類似地，可見層節點的激活狀態在給定隱層取值的情況下也條件獨立。亦即，對

個可見層節點和

個隱層節點，可見層的配置v對於隱層配置h的條件概率如下：

類似地，h對於v的條件概率為

其中，單個節點的激活概率為

和

其中

代表邏輯函數。

受限玻爾茲曼機的訓練目標是針對某一訓練集

，最大化概率的乘積。其中，

被視為一矩陣，每個行向量作為一個可見單元向量

：

或者，等價地，最大化

的對數概率期望：

訓練受限玻爾茲曼機，即最優化權重矩陣

，最常用的算法是傑弗裏·辛頓提出的對比分歧（contrastive divergence，CD）算法。這一算法最早被用於訓練辛頓提出的“專家積”模型。這一算法在梯度下降的過程中使用吉布斯採樣完成對權重的更新，與訓練前饋神經網絡中利用反向傳播算法類似。

基本的針對一個樣本的單步對比分歧（CD-1）步驟可被總結如下：

使用正梯度和負梯度的差以一定的學習率更新權重

：

。

偏置a和b也可以使用類似的方法更新。

深信任網絡(deep belief network，DBN)和深玻爾茲曼機(deep Boltzmann machine，DBM)，由多層神經元組成，已經應用於許多機器學習任務中，能夠很好地解決一些複雜問題，在一定程度上提高了學習性能。深神經網絡由許多受限玻爾茲曼機(restricted Boltzmann machine，RBM)堆棧構成，RBM的可見層神經元之間和隱層神經元之間假定無連接。深神經網絡用層次無監督貪婪預訓練方法分層預訓練RBM，將得到的結果作為監督學習訓練概率模型的初始值，學習性能得到很大改善。無監督特徵學習就是將RBM的複雜層次結構與大量數據集之間實現統計建模。通過無監督預訓練使網絡獲得高階抽象特徵，並且提供較好的初始權值，將權值限定在對全局訓練有利的範圍內，使用層與層之間的局部信息進行逐層訓練，注重訓練數據自身的特性，能夠減小對學習目標過擬合的風險，並避免深神經網絡中誤差累積傳遞過長的問題。RBM由於表示力強、易於推理等優點被成功用作深神經網絡的結構單元使用，在近些年受到廣泛關注，作為實際應用，RBM的學習算法已經在MNIST和NORB等數據集上顯示出優越的學習性能。RBM的學習在深度神經網絡的學習中佔據核心的地位。

BM及其模型已經成功應用於協同濾波、分類、降維、圖像檢索、信息檢索、語言處理、自動語音識別、時間序列建模、文檔分類、非線性嵌入學習、暫態數據模型學習和信號與信息處理等任務。受限玻爾茲曼機在降維、分類、協同過濾、特徵學習和主題建模中得到了應用。根據任務的不同，受限玻爾茲曼機可以使用監督學習或無監督學習的方法進行訓練。