神經網絡

生物神經網絡主要是指人腦的神經網絡，它是人工神經網絡的技術原型。人腦是人類思維的物質基礎，思維的功能定位在大腦皮層，後者含有大約10^11個神經元，每個神經元又通過神經突觸與大約103個其它神經元相連，形成一個高度複雜高度靈活的動態網絡。作為一門學科，生物神經網絡主要研究人腦神經網絡的結構、功能及其工作機制，意在探索人腦思維和智能活動的規律。

人工神經網絡是生物神經網絡在某種簡化意義下的技術復現，作為一門學科，它的主要任務是根據生物神經網絡的原理和實際應用的需要建造實用的人工神經網絡模型，設計相應的學習算法，模擬人腦的某種智能活動，然後在技術上實現出來用以解決實際問題。因此，生物神經網絡主要研究智能的機理；人工神經網絡主要研究智能機理的實現，兩者相輔相成。 ^[2] 

神經網絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網絡、神經系統的生物原型結構及其功能機理。

根據生物原型的研究，建立神經元、神經網絡的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

在理論模型研究的基礎上構作具體的神經網絡模型，以實現計算機模擬或準備製作硬件，包括網絡學習算法的研究。這方面的工作也稱為技術模型研究。

神經網絡用到的算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬件實現以及自我學習特性，是神經網絡的幾個基本優點，也是神經網絡計算方法與傳統方法的區別所在。

人工神經網絡按其模型結構大體可以分為前饋型網絡（也稱為多層感知機網絡）和反饋型網絡（也稱為Hopfield網絡）兩大類，前者在數學上可以看作是一類大規模的非線性映射系統，後者則是一類大規模的非線性動力學系統。按照學習方式，人工神經網絡又可分為有監督學習、非監督和半監督學習三類；按工作方式則可分為確定性和隨機性兩類；按時間特性還可分為連續型或離散型兩類，等等。

不論何種類型的人工神經網絡，它們共同的特點是，大規模並行處理，分佈式存儲，彈性拓撲，高度冗餘和非線性運算。因而具有很髙的運算速度，很強的聯想能力，很強的適應性，很強的容錯能力和自組織能力。這些特點和能力構成了人工神經網絡模擬智能活動的技術基礎，並在廣闊的領域獲得了重要的應用。例如，在通信領域，人工神經網絡可以用於數據壓縮、圖像處理、矢量編碼、差錯控制（糾錯和檢錯編碼）、自適應信號處理、自適應均衡、信號檢測、模式識別、ATM流量控制、路由選擇、通信網優化和智能網管理等等。

“人腦是如何工作的？”

“人類能否製作模擬人腦的人工神經元？”

多少年以來，人們從醫學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協同學等各個角度企圖認識並解答上述問題。在尋找上述問題答案的研究過程中，逐漸形成了一個新興的多學科交叉技術領域，稱之為“神經網絡”。神經網絡的研究涉及眾多學科領域，這些領域互相結合、相互滲透並相互推動。不同領域的科學家又從各自學科的興趣與特色出發，提出不同的問題，從不同的角度進行研究。

人工神經網絡首先要以一定的學習準則進行學習，然後才能工作。現以人工神經網絡對於寫“A”、“B”兩個字母的識別為例進行説明，規定當“A”輸入網絡時，應該輸出“1”，而當輸入為“B”時，輸出為“0”。

所以網絡學習的準則應該是：如果網絡作出錯誤的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯誤的可能性。首先，給網絡的各連接權值賦予(0，1)區間內的隨機值，將“A”所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。在此情況下，網絡輸出為“1”和“0”的概率各為50%，也就是説是完全隨機的。這時如果輸出為“1”(結果正確)，則使連接權值增大，以便使網絡再次遇到“A”模式輸入時，仍然能作出正確的判斷。

普通計算機的功能取決於程序中給出的知識和能力。顯然，對於智能活動要通過總結編制程序將十分困難。

人工神經網絡也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網絡因學習方式及內容不同可具有不同的功能。人工神經網絡是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標準進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。

神經網絡就像是一個愛學習的孩子，您教她的知識她是不會忘記而且會學以致用的。我們把學習集（Learning Set）中的每個輸入加到神經網絡中，並告訴神經網絡輸出應該是什麼分類。在全部學習集都運行完成之後，神經網絡就根據這些例子總結出她自己的想法，到底她是怎麼歸納的就是一個黑盒了。之後我們就可以把測試集（Testing Set）中的測試例子用神經網絡來分別作測試，如果測試通過（比如80%或90%的正確率），那麼神經網絡就構建成功了。我們之後就可以用這個神經網絡來判斷事務的分類了。

神經網絡是通過對人腦的基本單元——神經元的建模和聯接，探索模擬人腦神經系統功能的模型，並研製一種具有學習、聯想、記憶和模式識別等智能信息處理功能的人工系統。神經網絡的一個重要特性是它能夠從環境中學習，並把學習的結果分佈存儲於網絡的突觸連接中。神經網絡的學習是一個過程，在其所處環境的激勵下，相繼給網絡輸入一些樣本模式，並按照一定的規則（學習算法）調整網絡各層的權值矩陣，待網絡各層權值都收斂到一定值，學習過程結束。然後我們就可以用生成的神經網絡來對真實數據做分類。

1943年，心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今，並且直接影響着這一領域研究的進展。因而，他們兩人可稱為人工神經網絡研究的先驅。

1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標誌着電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網絡結構。但是，由於指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯繫在一起的，但他也是人工神經網絡研究的先驅之一。

50年代末，F·Rosenblatt設計製作了“感知機”，它是一種多層的神經網絡。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效製作感知機，分別應用於文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而，這次人工神經網絡的研究高潮未能持續很久，許多人陸續放棄了這方面的研究工作，這是因為當時數字計算機的發展處於全盛時期，許多人誤以為數字計算機可以解決人工智能、模式識別、專家系統等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落後，主要的元件是電子管或晶體管，利用它們製作的神經網絡體積龐大，價格昂貴，要製作在規模上與真實的神經網絡相似是完全不可能的；另外，在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的，它不能解決如異或這樣的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對於人工神經網絡的前景失去信心。60年代末期，人工神經網絡的研究進入了低潮。

另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續取值的線性加權求和閾值網絡。後來，在此基礎上發展了非線性多層自適應網絡。當時，這些工作雖未標出神經網絡的名稱，而實際上就是一種人工神經網絡模型。

隨着人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規模集成電路製作技術提高到新的水平，完全付諸實用化，此外，數字計算機的發展在若干應用領域遇到困難。這一背景預示，向人工神經網絡尋求出路的時機已經成熟。美國的物理學家Hopfield於1982年和1984年在美國科學院院刊上發表了兩篇關於人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞着 Hopfield提出的方法展開了進一步的工作，形成了80年代中期以來人工神經網絡的研究熱潮。

2021年6月9日，英國《自然》雜誌發表一項人工智能突破性成就，美國科學家團隊報告機器學習工具已可以極大地加速計算機芯片設計。研究顯示，該方法能給出可行的芯片設計，且芯片性能不亞於人類工程師的設計，而整個設計過程只要幾個小時，而不是幾個月，這為今後的每一代計算機芯片設計節省數千小時的人力。這種方法已經被谷歌用來設計下一代人工智能計算機系統。研究團隊將芯片佈局規劃設計成一個強化學習問題，並開發了一種能給出可行芯片設計的神經網絡。 ^[3] 

2023年4月，俄羅斯專家表示，儘管神經網絡具有處理和分析大量數據的能力，但其無法在諸如醫學、教育、藝術和社會服務這樣的領域取代人類工作。 ^[4] 

在眾多的神經網絡工具中，NeuroSolutions始終處於業界領先位置。它是一個可用於windows XP/7高度圖形化的神經網絡開發工具。其將模塊化，基於圖標的網絡設計界面，先進的學習程序和遺傳優化進行了結合。該款可用於研究和解決現實世界的複雜問題的神經網絡設計工具在使用上幾乎無限制。

神經網絡的研究可以分為理論研究和應用研究兩大方面。

理論研究可分為以下兩類：

1、利用神經生理與認知科學研究人類思維以及智能機理。

2、利用神經基礎理論的研究成果，用數理方法探索功能更加完善、性能更加優越的神經網絡模型，深入研究網絡算法和性能，如：穩定性、收斂性、容錯性、魯棒性等；開發新的網絡數理理論，如：神經網絡動力學、非線性神經場等。

應用研究可分為以下兩類：

1、神經網絡的軟件模擬和硬件實現的研究。

2、神經網絡在各個領域中應用的研究。這些領域主要包括：

模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等。隨着神經網絡理論本身以及相關理論、相關技術的不斷髮展，神經網絡的應用定將更加深入。