前饋神經網絡

前饋神經網絡（feedforward neural network，FNN），簡稱前饋網絡，是人工神經網絡的一種。前饋神經網絡採用一種單向多層結構。其中每一層包含若干個神經元。在此種神經網絡中，各神經元可以接收前一層神經元的信號，併產生輸出到下一層。第0層叫輸入層，最後一層叫輸出層，其他中間層叫做隱含層（或隱藏層、隱層）。隱層可以是一層。也可以是多層 ^[1]  。

整個網絡中無反饋，信號從輸入層向輸出層單向傳播，可用一個有向無環圖表示 ^[2]  。

一個典型的多層前饋神經網絡如圖1所示。

對於前饋神經網絡結構設計，通常採用的方法有3類：直接定型法、修剪法和生長法。

直接定型法設計一個實際網絡對修剪法設定初始網絡有很好的指導意義；修剪法由於要求從一個足夠大的初始網絡開始，註定了修剪過程將是漫長而複雜的，更為不幸的是，BP訓練只是最速下降優化過程，它不能保證對於超大初始網絡一定能收斂到全局最小或是足夠好的局部最小。因此，修剪法並不總是有效的，生長法似乎更符合人的認識事物、積累知識的過程，具有自組織的特點，則生長法可能更有前途，更有發展潛力。 ^[3] 

單層前饋神經網絡是最簡單的一種人工神經網絡，其只包含一個輸出層，輸出層上節點的值（輸出值）通過輸入值乘以權重值直接得到。取出其中一個元進行討論，其輸入到輸出的變換關係為

上式中，

是輸入特徵向量，

是

到

的連接權，輸出量

是按照不同特徵的分類結果。

多層前饋神經網絡有一個輸入層，中間有一個或多個隱含層，有一個輸出層。多層感知器網絡中的輸入與輸出變換關係為

這時每一層相當於一個單層前饋神經網絡，如對第

層，它形成一個

維的超平面。它對於該層的輸入模式進行線性分類，但是由於多層的組合，最終可以實現對輸入模式的較複雜的分類。 ^[4] 

前饋神經網絡結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。從系統的觀點看，前饋網絡是一種靜態非線性映射．通過簡單非線性處理單元的複合映射，可獲得複雜的非線性處理能力。從計算的觀點看．缺乏豐富的動力學行為。大部分前饋網絡都是學習網絡，其分類能力和模式識別能力一般都強於反饋網絡。 ^[1] 

感知器（又叫感知機）是最簡單的前饋網絡，它主要用於模式分類，也可用在基於模式分類的學習控制和多模態控制中。感知器網絡可分為單層感知器網絡和多層感知器網絡。

BP網絡是指連接權調整採用了反向傳播（Back Propagation）學習算法的前饋網絡。與感知器不同之處在於，BP網絡的神經元變換函數採用了S形函數（Sigmoid函數），因此輸出量是0~1之間的連續量，可實現從輸入到輸出的任意的非線性映射。

RBF網絡是指隱含層神經元由RBF神經元組成的前饋網絡。RBF神經元是指神經元的變換函數為RBF（Radial Basis Function，徑向基函數）的神經元。典型的RBF網絡由三層組成：一個輸入層，一個或多個由RBF神經元組成的RBF層（隱含層），一個由線性神經元組成的輸出層。