-
遞歸神經網絡
鎖定
遞歸神經網絡(recursive neural network)是具有樹狀階層結構且網絡節點按其連接順序對輸入信息進行遞歸的人工神經網絡(Artificial Neural Network, ANN),是深度學習(deep learning)算法之一
[1]
。
遞歸神經網絡(recursive neural network)提出於1990年,被視為循環神經網絡(recurrent neural network)的推廣
[2-3]
。當遞歸神經網絡的每個父節點都僅與一個子節點連接時,其結構等價於全連接的循環神經網絡
[2]
。遞歸神經網絡可以引入門控機制(gated mechanism)以學習長距離依賴
[2]
。
- 中文名
- 遞歸神經網絡
- 外文名
- Recursive Neural Network, RNN
- 類 型
- 機器學習算法,神經網絡算法
- 提出者
- Jordan B. Pollack
- 提出時間
- 1990年
- 學 科
- 人工智能
- 應 用
- 自然語言處理
遞歸神經網絡歷史
遞歸神經網絡是面向自然語言處理(Natural Language Processing, NLP)研究提出的連接主義(connectionist)模型,其早期工作包括循環神經網絡的全連接形式,即Elman網絡
[4]
、David Rumelhart和James McClelland提出的交互激勵模型(interactive activation model)
[5]
和Alan Kawamoto在雙語詞量接觸(Bilingual lexical access)中建立的語音學階層特徵
[6]
。遞歸神經網絡在1990年由美國學者Jordan B. Pollack提出以解決語言建模(language modeling)中數據結構的表徵問題
[3]
。遞歸神經網絡的最初版本為平衡的二叉樹結構,但在發展中逐漸轉變為按信息組織結構
[7]
。
遞歸神經網絡結構
遞歸神經網絡的核心部分由階層分佈的節點構成,其中高階層的節點為父節點,低階層的節點被稱為子節點,最末端的子節點通常為輸出節點,節點的性質與樹中的節點相同。在文獻中,遞歸神經網絡的輸出節點通常位於樹狀圖的最上方,此時其結構是自下而上繪製的,父節點位於子節點的下方。遞歸神經網絡的每個節點都可以有數據輸入,對第
階層的節點,其系統狀態的計算方式如下
[2]
:
遞歸神經網絡支持單輸出和多輸出。在單輸出模式下,其最末端子節點的系統狀態會通過輸出函數(例如分類器)得到結果。多輸出模式下遞歸神經網絡的輸出取決於拓撲結構,在理論上其任意一個節點的系統狀態都可以參與輸出
[1-2]
。
遞歸神經網絡理論
遞歸神經網絡可以使用監督學習和非監督學習理論進行訓練。在監督學習時,遞歸神經網絡使用反向傳播算法(Back-probagation, BP)更新權重參數
[3]
,計算過程可類比循環神經網絡的隨時間反向傳播(BP Through Time, BPTT)算法。非監督學習的遞歸神經網絡被用於結構信息的表徵學習(feature learning),其中最常見的組織形式是遞歸自編碼器(Recursive Auto-Encoder, RAE)
[8]
。
遞歸神經網絡算法
長短期記憶
長短期記憶(英語:Long Short-Term Memory,LSTM)是一種時間遞歸神經網絡(RNN),論文首次發表於1997年。由於獨特的設計結構,LSTM適合於處理和預測時間序列中包含長距離依賴的問題。
LSTM的表現通常比時間遞歸神經網絡及隱馬爾科夫模型(HMM)更好,比如用在不分段連續手寫識別上。2009年,用LSTM構建的人工神經網絡模型贏得過ICDAR手寫識別比賽冠軍。LSTM還普遍用於自主語音識別,2013年運用TIMIT自然演講數據庫達成17.7%錯誤率的紀錄。作為非線性模型,LSTM可作為複雜的非線性單元用於構造更大型深度神經網絡。
LSTM是一種含有LSTM區塊(blocks)或其他的一種類神經網絡,文獻或其他資料中LSTM區塊可能被描述成智能網絡單元,因為它可以記憶不定時間長度的數值,區塊中有一個gate能夠決定input的信息是否能被提取及能不能被輸出output。
如某圖底下是四個S函數單元,最左邊函數依情況可能成為區塊的input,右邊三個會經過gate決定input是否能傳入區塊,左邊第二個為input gate,如果這裏產出近似於零,將把這裏的值擋住,不會進到下一層。左邊第三個是forget gate,當這產生值近似於零,將把區塊裏記住的值忘掉。第四個也就是最右邊的input為output gate,他可以決定在區塊記憶中的input是否能輸出 。
LSTM有很多個版本,其中一個受到關注的版本是GRU(Gated Recurrent Unit),根據谷歌的測試表明,LSTM中對學習貢獻較大的是Forget gate,其次是Input gate,最次是Output gate。
結構遞歸神經網絡(Recursive)
結構遞歸神經網絡是一類用結構遞歸的方式構建的網絡,比如説遞歸自編碼機(Recursive Autoencoder),在自然語言處理的神經網絡分析方法中用於解析語句。
- 參考資料
-
- 1. Goodfellow, I., Bengio, Y., Courville, A..Deep learning (Vol. 1).Cambridge:MIT Press,2016:394-396
- 2. 邱錫鵬 著,神經網絡與深度學習,第六章 循環神經網絡 .Github Inc..2018-3-12[引用日期2018-12-09]
- 3. Pollack, J.B., 1990. Recursive distributed representations. Artificial Intelligence, 46(1-2), pp.77-105.
- 4. Elman, J.L., 1990. Finding structure in time. Cognitive science, 14(2), 179-211.
- 5. Rumelhart, D.E. and McClelland, J.L., 1982. An interactive activation model of context effects in letter perception: II. The contextual enhancement effect and some tests and extensions of the model. Psychological review, 89(1), p.60.
- 6. Kawamoto, A.H., 1985, Dynamic processes in the (re)solution of lexical ambiguity, Doctoral Dissertation, Department of Psychology, Brown University, Providence, RI.
- 7. Frasconi, P., Gori, M. and Sperduti, A., 1998. A general framework for adaptive processing of data structures. IEEE transactions on Neural Networks, 9(5), pp.768-786.
- 8. Li, P., Liu, Y. and Sun, M., 2013. Recursive autoencoders for ITG-based translation. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (pp. 567-577).