神經網絡結構

神經網絡最早由心理學家和神經生物學家提出，由於神經網絡在解決複雜問題時能夠提供一種相對簡單的方法，因此近年來越來越受到人們的關注。神經網絡模型各種各樣、 各式各樣的模型從不同的角度對生物神經系統進行不同層次的描述和模擬。代表性的網絡模型有BP網絡、RBF網絡、Hopfield網絡、自組織特徵映射網絡等。運用這些網絡模型可實現函數逼近、數據聚類、模式分類、優化計算等功能。因此， 神經網絡廣泛應用於人工智能、自動控制、機器人、統計學等領域的信息處理中。

一個經典的神經網絡是一個包含三個層次的。紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個輸入單元，隱藏層有4個單元，輸出層有2個單元。 如圖1所示。

設計一個神經網絡時，輸入層與輸出層的節點數往往是固定的，中間層則可以自由指定；

神經網絡結構圖中的拓撲與箭頭代表着預測過程時數據的流向，跟訓練時的數據流有一定的區別；

結構圖裏的關鍵不是圓圈（代表“神經元”），而是連接線（代表“神經元”之間的連接）。每個連接線對應一個不同的權重（其值稱為權值），這是需要訓練得到的。

除了從左到右的形式表達的結構圖，還有一種常見的表達形式是從下到上來表示一個神經網絡。這時候，輸入層在圖的最下方。輸出層則在圖的最上方，如圖2。

BP( back propaga tion) 神經網絡通常採用基於BP神經元的多層前向神經網絡的結構形式。一個典型的BP網絡結構如下圖所示。理論證明，具有圖1所示結構的BP神經網絡, 當隱層神經元數目足夠多時, 可以以任意精度逼近任何一個具有有限間斷點的非線性函數。

BP神經網絡的學習規則, 即權值和閾值的調節規則採用的是誤差反向傳播算法( BP算法)。BP 算法實際上是W idrow -Hoff算法在多層前向神經網絡中的推廣。和W idrow- H off算法類似，在BP算法中，網絡的權值和閾值通常是沿着網絡誤差變化的負梯度方向進行調節的，最終使網絡誤差達到極小值或最小值, 即在這一點誤差梯度為零。限於梯度下降算法的固有缺陷，標準的BP學習算法通常具有收斂速度慢、易陷入局部極小值等特點， 因此出現了許多改進算法。其中最常用的有動量法和學習率自適應調整的方法, 從而提高了學習速度並增加了算法的可靠性。

徑向基函數(Radial Basis Function, 簡稱為RBF) 網絡是以函數逼近理論為基礎而構造的一類前向網絡，這類網絡的學習等價於在多維空間中尋找訓練數據的最佳擬合平面。徑向基函數網絡的每個隱層神經元激活函數都構成了擬合平面的一個基函數，網絡也由此得名。徑向基函數網絡是一種局部逼近網絡，即對於輸入空間的某一個局部區域只存在少數的神經元用於決定網絡的輸出。而BP網絡則是典型的全局逼近網絡，即對每一個輸入/輸出數據對，網絡的所有參數均要調整。由於二者的構造本質不同，徑向基函數網絡與BP網絡相比規模通常較大，但學習速度較快，並且網絡的函數逼近能力、模式識別與分類能力都優於後者 。

一個典型的徑向基函數網絡包括兩層， 即隱層和輸出層。圖4是一徑向基函數網絡的結構圖。圖中所示網絡的輸入維數為R、隱層神經元個數為S1、輸出個數為S2，隱層神經元用高斯函數作為激活函數， 輸出層的激活函數為線性函數。

由模式識別理論可知，在低維空間非線性可分的問題總可映射到一個高維空間，使其在此高維空間中為線性可分。在RBF網絡中，輸入到隱層的映射為非線性的( 隱單元的激活函數是非線性函數)，而隱層到輸出則是線性的。可把輸出單元部分看作一個單層感知器，這樣， 只要合理選擇隱單元數(高維空間的維數)及其激活函數，就可以把原來問題映射為一個線性可分問題，從而最後用一個線性單元來解決問題。最常用的徑向基函數形式是高斯函數， 它的可調參數有兩個，即中心位置及方差( 函數的寬度參數)，用這類函數時整個網絡的可調參數(待訓練的參數) 有三組， 即各基函數的中心位置、方差和輸出單元的權值。

RBF網絡具有很好的通用性。已經證明，只要有足夠多的隱層神經元，RBF網絡能以任意精度近似任何連續函數。更重要的是， RBF網絡克服了傳統前饋神經網絡的很多缺點，其訓練速度相當快，並且在訓練時不會發生震盪和陷入局部極小。但是，在進行測試時，RBF網絡的速度卻比較慢，這是由於待判別示例幾乎要與每個隱層神經元的中心向量進行比較才能得到結果。雖然可以通過對隱層神經元進行聚類來提高判別速度，但這樣就使得訓練時間大為增加，從而失去了RBF網絡最基本的優勢。另外，通過引入非線性優化技術可以在一定程度上提高學習精度，但這同時也帶來了一些缺陷，如局部極小、訓練時間長等。

BP神經網絡和RBF網絡都是前饋型神經網絡，下面我們研究反饋式神經網絡。在反饋式網絡中，所有節點(單元)都是一樣的， 它們之間可以相互連接， 所以反饋式神經元網絡可以用一個無向的完備圖來表示。從系統觀點來看，反饋網絡是一個非線性動力學系統。它必然具有一般非線性動力學系統的許多性質，如穩定問題、各種類型的吸引子以至混沌現象等。在某些情況下， 還有隨機性和不可預測性等，因此，比前饋型網絡的內容要廣闊和豐富的多，提供了人們可以從不同方面來利用這些複雜的性質以完成各種計算功能。

反饋式網絡的模型有多種， 這裏主要討論由Hopfield提出的反饋網絡。Hopfield網絡的基本結構圖如圖5所示。

由圖5可見Hopfield 網絡為一層結構的反饋網絡，能處理雙極型離散數據。當網絡經過訓練後， 可以認為網絡處於等待工作狀態，而對網絡給定初始輸入x 時， 網絡就處於特定的初始狀態， 由此初始狀態開始運行，可以得到當前時刻網絡的輸出狀態。通過網絡的反饋作用，可得到下一時刻網絡的輸入信號；再由這個新的輸入信號作用於網絡，可得到下一時刻網絡的輸出狀態，將該輸出反饋到輸入端，又形成新的輸入信號，如此不斷的循環下去。如果網絡是穩定的，那麼， 經過多次反饋運行， 網絡達到穩態， 即由輸出端可得到網絡的穩態輸出。

反饋網絡有兩種基本的工作方式：串行異步和並行同步方式。反饋式和前饋型神經網絡的比較如下：

(1) 前饋型神經網絡取連續或離散變量，一般不考慮輸出與輸入在時間上的滯後效應， 只表達輸出與輸入的映射關係。反饋式神經網絡可以用離散變量也可連續取值， 考慮輸出與輸入之間在時間上的延遲， 因此， 需要用動態方程來描述神經元和系統的數學模型。由於前饋網絡中不含反饋連接， 因而為系統分析提供了方便。基本的H opfield網絡是一個由非線性元件構成的單層反饋系統， 這種系統穩定狀態的分析比較複雜， 給實際應用帶來一些困難。

(2) 前饋型網絡的學習主要採用誤差修正法， 計算過程一般比較慢， 收斂速度也比較慢。而Hopfield 網絡的學習主要採用Hebb規則， 一般情況下計算的收斂速度很快。它與電子電路存在明顯的對應關係， 使得該網絡易於理解和易於用硬件實現。

(3)Hopfield網絡也有類似於前饋型網絡的應用， 例如用作聯想記憶或分類， 而在優化計算方面的應用更加顯示出Hopfield 網絡的特點。聯想記憶和優化計算是對偶的。當用於聯想記憶時，通過樣本模式的輸入給定網絡的穩定狀態， 經過學習求得突觸權重值; 當用於優化計算時， 以目標函數和約束條件建立系統的能量函數確定出突觸權重值， 網絡演變到穩定狀態， 即是優化計算問題的解。

自組織特徵映射模型也稱為Kohonen網絡， 或者稱為Self-Organizing Feature Map ( SOFM) ， 由芬蘭學者Teuvo Kohonen 於1981年提出。該網絡是一個由全互連的神經元陣列形成的無教師自組織自學習網絡。

Kohonen認為， 處於空間中不同區域的神經元有不同的分工， 當一個神經網絡接受外界輸入模式時， 將會分為不同的反應區域， 各區域對輸入模式具有不同的響應特徵。在輸出空間中， 這些神經元將形成一張映射圖， 映射圖中功能相同的神經元靠得較近， 功能不同的神經元分得較開， 自組織特徵映射網絡也由此而得名。它在模式識別、聯想存儲、樣本分類、優化計算、機器人控制等領域中得到廣泛應用。自組織特徵映射過程是通過競爭學習完成的。競爭學習是指同一層神經元之間互相競爭， 競爭勝利的神經元修改與其相連的連接權值的過程。競爭學習是一種無監督學習方法， 在學習過程中， 只需向網絡提供一些學習樣本， 而無需提供理想的目標輸出。網絡根據輸入樣本的特性進行自組織映射， 從而對樣本進行自動排序和分類。 ^[1] 

神經網絡是一門重要的機器學習技術。它是目前最為火熱的研究方向深度學習的基礎。神經網絡在系統辨識、模式識別、智能控制等領域有着廣泛而吸引人的前景。特別在智能控制中，人們對神經網絡的自學習功能尤其感興趣，並且把神經網絡這一重要特點看作是解決自動控制中按制器適應能力這個難題的關鍵鑰匙之一。 神經網絡的基礎在於神經元。神經元是以生物神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智能的機制時，把神經元數學化，從而產生了神經元數學模型。 大量的形式相同的神經元連結在—起就組成了神經網絡。神經網絡是一個高度非線性動力學系統。雖然，每個神經元的結構和功能都不復雜，但是神經網絡的動態行為則是十分複雜的；因此，用神經網絡可以表達實際物理世界的各種現象。神經網絡模型是以神經元的數學模型為基礎來擁述的。神經網絡模型由網絡拓撲、節點特點和學習規則來表示。