反饋網絡

反饋網絡(Recurrent Network)，又稱自聯想記憶網絡，其目的是為了設計一個網絡，儲存一組平衡點，使得當給網絡一組初始值時，網絡通過自行運行而最終收斂到這個設計的平衡點上。

1982年，物理學家霍普菲爾德(J．Hopfield)發表了一篇對人工神經網絡研究頗有影響的論文。

反饋網絡能夠表現出非線性動力學系統的動態特性。它所具有的主要特性為以下兩點：

第一、網絡系統具有若干個穩定狀態。當網絡從某一初始狀態開始運動，網絡系統總可以收斂到某一個穩定的平衡狀態；

第二，系統穩定的平衡狀態可以通過設計網絡的權值而被存儲到網絡中。 ^[1] 

Hopfield網絡是單層對稱全反饋網絡，根據激活函數選取的不同，可分為離散型和連續性兩種（DHNN,CHNN）。

DHNN：激活函數f(·)是一個二值型的硬函數，即ai=sgn(ni)，i=l, 2, … r，主要用於聯想記憶；

CHNN： 激活函數f(·)為一個連續單調上升的有界函數，主要用於優化計算。

設狀態矢量N=[n1, n2, …，nr]，網絡的輸出矢量為A=[a1，a2…，ar] ，

在一個r維狀態空間上，可以用一條軌跡來描述狀態變化情況。

從初始值N(t0)出發， N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，這些在空間上的點組成的確定軌跡，是演化過程中所有可能狀態的集合，我們稱這個狀態空間為相空間。

對於DHNN，因為N(t)中每個值只可能為±1，或{0，1}，對於確定的權值wij，其軌跡是跳躍的階梯式，如圖中A所示。

對於CHNN，因為f(·)是連續的，因而，其軌跡也是連續的。如圖3的B、C所示。

在Hopfield網絡中，由於反饋的存在，對於不同的連接權值wij和輸入Pj(i, j=1, 2, … r)，反饋網絡狀態軌跡可能出現以下幾種情況：（1）漸進穩定；（2）極限環；（3）混沌現象；（4）狀態軌跡發散；

狀態軌跡從系統在t0時狀態的初值N(t0)開始，經過一定的時間t(t>0)後，到達N(t0+t)。如果N(t0+t+Δt)=N(t0+t)，Δt>0，則狀態N(t0+t)稱為網絡的穩定點，或平衡點。

即反饋網絡從任一初始態P(0)開始運動，若存在某一有限時刻t，從t以後的網絡狀態不再發生變化：P(t+Δt)= P(t)，Δt>0，則稱該網絡是穩定的。

處於穩定時的網絡狀態叫做穩定狀態，又稱為定吸引子。

在一個反饋網絡中，存在很多穩定點，根據不同情況，這些穩定點可以分為：

1)漸近穩定點：如果在穩定點Ne周圍的N(σ)區域內，從任一個初始狀態N(t0)出發的每個運動，當t→∞時都收斂於Ne，則稱Ne為漸近穩定點。

2)不穩定平衡點Nen：在某些特定的軌跡演化過程中，網絡能夠到達穩定點Nen，但對於其它方向上的任意一個小的區域N(σ)，不管N(σ)取多麼小，其軌跡在時間t以後總是偏離Nen；

3)網絡的解：如果網絡最後穩定到設計人員期望的穩定點，且該穩定點又是漸近穩定點，那麼這個點稱為網絡的解；

4)網絡的偽穩定點：網絡最終穩定到一個漸近穩定點上，但這個穩定點不是網絡設計所要求的解，這個穩定點為偽穩定點。

如果在某些參數的情況下，狀態N(t)的軌跡是一個圓，或一個環，狀態N(t)沿着環重複旋轉，永不停止，此時的輸出A(t)也出現週期變化，即出現振盪，如圖6．4中C的軌跡即是極限環出現的情形。

對於DHNN，軌跡變化可能在兩種狀態下來回跳動，其極限環為2。如果在r種狀態下循環變化，稱其極限環為r。

如果狀態N(t)的軌跡在某個確定的範圍內運動，但既不重複，又不能停下來，狀態變化為無窮多個，而軌跡也不能發散到無窮遠，這種現象稱為混沌(chaos)。

在出現混沌的情況下，系統輸出變化為無窮多個，並且隨時間推移不能趨向穩定，但又不發散。

如果狀態N(t)的軌跡隨時間一直延伸到無窮遠，此時狀態發散，系統的輸出也發散。

在人工神經網絡中，由於輸入、輸出激活函數上一個有界函數，雖然狀態N(t)是發散的，但其輸出A(t)還是穩定的，而A（t）的穩定反過來又限制了狀態的發散。

一般非線性人工神經網絡中發散現象是不會發生的，除非神經元的輸入輸出激活函數是線性的。

Hopfield網絡的穩定性可用能量函數進行分析。人工神經網絡常利用漸進穩定點來解決某些問題。例如，如果把系統的穩定點視為一個記憶的話，那麼從初態朝這個穩定點的演變過程就是尋找記憶的過程。初態可以認為是給定的有關記憶的部分信息。如果把系統的穩定點視為一個能量函數的極小點，把能量函數視為一個優化問題的目標函數，那麼從初態朝這個穩定點的演變過程就是一個求該優化問題的過程。這樣的優點在於它的解並不需要真的去計算，而只要構成這種反饋網絡，適當的設計其連接值和輸入就可達到目的。

DHNN主要有以下兩種工作方式：

（1）串行工作方式 在某一時刻只有一個神經元按照上式改變狀態，而其它神經元的輸出不變。這一變化的神經元可以按照隨機的方式或預定的順序來選擇。

這種更新方式的特點是：

實現上容易，每個神經元有自己的狀態更新時刻，不需要同步機制； 功能上的串行狀態更新可以限制網絡的輸出狀態，避免不同穩態等概率的出現；

異步狀態更新更接近實際的生物神經系統的表現。

（2）並行工作方式 在某一時刻有N個神經元按照上式改變狀態，而其它的神經元的輸出不變。變化的這一組神經元可以按照隨機方式或某種規則來選擇。當N=n時，稱為全並行方式。對於權值設計要求較高。

網絡達到穩定時的狀態，稱為網絡的吸引子。非線性系統的穩定點。

Hopfield網絡自提出後，被認為是一種最典型的全反饋網絡，可以看作一種非線性的動力學系統 。 網絡狀態的變化，是一種在超立方體中的自由運動狀態，1892年， Lyapunov(李雅普諾夫)提出了關於穩定性概念的基本理論，並被稱為Lyapunov定理。

關於吸引子的吸引域：

1，弱吸引域定義：若Xa是吸引子，對於異步方式，若存在一個調整次序，使網絡可以從狀態X演變到Xa，則稱X弱吸引到Xa；若有某些X弱吸引到Xa ，則稱這些X的集合為Xa的弱吸引域。

2，強吸引域定義：若Xa是吸引子，對於任意調整次序，網絡都可以從狀態X演變到Xa，則稱X強吸引到Xa；若有某些X強吸引到Xa ，則稱這些X的集合為Xa的強吸引域。

吸引子的數量代表聯想網絡的記憶容量。是指網絡在一定的聯想出錯概率容許下，存儲互不干擾的吸引子的數量。

吸引子的數量與吸引域有關，吸引域大的網絡聯想能力強，容錯性好，但吸引子的數量就受到限制。

吸引子的分佈是由網絡的權值和閾值決定的，設計吸引子的核心就是如何設計一組合適的權值。為了使設計的權值滿足要求，權值矩陣應符合下述要求：

（1）為了保證異步方式工作時網絡收斂，W應為對稱陣；

（2）為了保證同步工作方式時網絡收斂，W應為非負定對稱陣；

（3）保證給定的樣本是網絡的吸引子，並且要有一定的吸引域。

CHNN是在DHNN的基礎上提出的，它的原理和DHNN相似。由於CHNN是以模擬量作為網絡的輸入輸出量，各神經元採用並行方式工作，所以它在信息處理的並行性、聯想性、實時性、分佈存儲、協同性等方面比DHNN更接近於生物神經網絡。我們將從以下幾點來討論CHNN。

1、網絡模型

2、CHNN方程的解及穩定性分析

3、關於Hopfield能量函數的幾點説明

4、關於CHNN的幾點結論

當對反饋網絡應用能量函數後，從任一初始狀態開始，因為在每次迭代後都能滿足E≤0，所以網絡的能量將會越來越小，最後趨於穩定點E=0。

Hopfield能量函數的物理意義是：在那些漸進穩定點的吸引域內，離吸引點越遠的狀態，所具有的能量越大，由於能量函數的單調下降特性，保證狀態的運動方向能從遠離吸引點處，不斷地趨於吸引點，直到達到穩定點。

幾點説明：

1）能量函數為反饋網絡的重要概念。根據能量函數可以方便的判斷系統的穩定性；

2）能量函數與李雅普諾夫函數的區別在於：李氏被限定在大於零的範圍內，且要求在零點值為零；

3）Hopfield選擇的能量函數，只是保證系統穩定和漸進穩定的充分條件，而不是必要條件，其能量函數也不是唯一的。

1）具有良好的收斂性；

2）具有有限個平衡點；

3）如果平衡點是穩定的，那麼它也一定是漸進穩定的；

4）漸進穩定平衡點為其能量函數的局部極小點；

5）能將任意一組希望存儲的正交化矢量綜合為網絡的漸進平衡點；

6）網絡以大規模、非線性、連續時間並行方式處理信息，其計算時間就是網絡趨於平衡點的時間。 ^[2]