Hopfield神經網絡

Hopfield神經網絡是一種遞歸神經網絡，由約翰·霍普菲爾德在1982年發明。Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfield網絡也提供了模擬人類記憶的模型。

離散Hopfield網絡是一個單層網絡，有n個神經元節點，每個神經元的輸出均接到其它神經元的輸入。各節點沒有自反饋。每個節點都可處於一種可能的狀態（1或－1），即當該神經元所受的刺激超過其閥值時，神經元就處於一種狀態（比如1），否則神經元就始終處於另一狀態（比如 －1）。 整個網絡有兩種工作方式：即異步方式和同步方式。

Hopfield網絡的單元是二元的（binary），即這些單元只能接受兩個不同的值，並且值取決於輸入的大小是否達到閾值。Hopfield網絡通常接受值為-1或1，也可以是0或者1。輸入是由sigmoid函數處理得到的。 sigmoid函數定義為： ^[1] 

用於將輸入化簡為兩個極值。

每一對Hopfiled網絡的單元i和j間都有一對以一定權重（weight）的連接{\displaystyle w_{ij}}。因此，Hopfiled網絡可被描述為一個完整的無向圖G=<V,f>，其中V是人工神經元集合。

Hopfiled網絡的連接有以下特徵：

（沒有神經元和自身相連）

（連接權重是對稱的）

權重對稱的要求是一個重要特徵，因為它保證了能量方程（稱向函數某一點收斂的過程為勢能轉化為能量）在神經元激活時單調遞減，而不對稱的權重可能導致週期性的遞增或者噪聲。然而，Hopfiled網絡也證明噪聲過程會被侷限在很小的範圍，並且並不影響網絡的最終性能。

聯想記憶功能是離散Hopfield網絡的一個重要應用範圍。要想實現聯想記憶，反饋網絡必須具有兩個基本條件：

① 網絡能收斂到穩定的平衡狀態，並以其作為樣本的記憶信息；

② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。 離散Hopfield網絡實現聯想記憶的過程分為兩個階段：學習記憶階段和聯想回憶階段。在學習記憶階段中，設計者通過某一設計方法確定一組合適的權值，使網絡記憶期望的穩定平衡點。聯想回憶階段則是網絡的工作過程。

離散Hopfield網絡用於聯想記憶有兩個突出的特點：即記憶是分佈式的，而聯想是動態的。 離散Hopfield網絡侷限性，主要表現在以下幾點：

① 記憶容量的有限性；

② 偽穩定點的聯想與記憶；

③ 當記憶樣本較接近時，網絡不能始終回憶出正確的記憶等。另外網絡的平衡穩定點並不可以任意設置的，也沒有一個通用的方式來事先知道平衡穩定點。