複製鏈接
請複製以下鏈接發送給好友
https://baike.baidu.hk/item/自編碼器/23686966
複製
複製成功

自編碼器

鎖定
自編碼器（autoencoder, AE）是一類在半監督學習和非監督學習中使用的人工神經網絡（Artificial Neural Networks, ANNs），其功能是通過將輸入信息作為學習目標，對輸入信息進行表徵學習（representation learning） [1-2]  。
自編碼器包含編碼器（encoder）和解碼器（decoder）兩部分 [2]  。按學習範式，自編碼器可以被分為收縮自編碼器（contractive autoencoder）、正則自編碼器（regularized autoencoder）和變分自編碼器（Variational AutoEncoder, VAE），其中前兩者是判別模型、後者是生成模型 [2]  。按構築類型，自編碼器可以是前饋結構或遞歸結構的神經網絡。
自編碼器具有一般意義上表徵學習算法的功能，被應用於降維（dimensionality reduction）和異常值檢測（anomaly detection） [2]  。包含卷積層構築的自編碼器可被應用於計算機視覺問題，包括圖像降噪（image denoising） [3]  、神經風格遷移（neural style transfer）等 [4]  。
中文名
自編碼器
外文名
autoencoder, AE
類    型
機器學習算法，神經網絡算法
提出者
Yann LeCun [5] 
提出時間
1987年 [5] 
學    科
人工智能
應    用
降維，降噪，異常值檢測

目錄

  1. 1 發展歷史
  2. 2 算法

自編碼器發展歷史

自編碼器在其研究早期是為解決表徵學習中的“編碼器問題（encoder problem）”，即基於神經網絡的降維問題而提出的聯結主義模型的學習算法。1985年，David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski在玻爾茲曼機上對自編碼器算法進行了首次嘗試，並通過模型權重對其表徵學習能力進行了討論 [6]  。在1986年反向傳播算法（Back-Propagation, BP）被正式提出後，自編碼器算法作為BP的實現之一，即“自監督的反向傳播（Self-supervised BP）”得到了研究 [7]  ，並在1987年被Jeffrey L. Elman和David Zipser用於語音數據的表徵學習試驗 [8]  。自編碼器作為一類神經網絡結構（包含編碼器和解碼器兩部分）的正式提出，來自1987年Yann LeCun發表的研究 [5]  。LeCun (1987)使用多層感知器（Multi-Layer Perceptron, MLP）構建了包含編碼器和解碼器的神經網絡，並將其用於數據降噪。此外，在同一時期，Bourlard and Kamp (1988)使用MLP自編碼器對數據降維進行的研究也得到了關注 [9]  。1994年，Hinton和Richard S. Zemel通過提出“最小描述長度原理（Minimum Description Length principle, MDL）”構建了第一個基於自編碼器的生成模型 [10]  。

自編碼器算法

自編碼器是一個輸入和學習目標相同的神經網絡，其結構分為編碼器和解碼器兩部分。給定輸入空間
和特徵空間
，自編碼器求解兩者的映射
使輸入特徵的重建誤差達成最小 [2]  ：
求解完成後，由編碼器輸出的隱含層特徵
，即“編碼特徵（encoded feature）”可視為輸入數據
的表徵。按自編碼器的不同，其編碼特徵可以是輸入數據的壓縮（收縮自編碼器）、稀疏化（稀疏自編碼器）或隱變量模型（變分自編碼器）等 [2]  。
參考資料
  • 1.    Bengio, Y., Courville, A. and Vincent, P., 2013. Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8), pp.1798-1828.
  • 2.    Goodfellow, I., Bengio, Y., Courville, A.．Deep learning (Vol. 1)．Cambridge：MIT press，2016：Chapter 14, pp. 499-507
  • 3.    Vincent, P., Larochelle, H., Bengio, Y. and Manzagol, P.A., 2008, July. Extracting and composing robust features with denoising autoencoders. In Proceedings of the 25th international conference on Machine learning (pp. 1096-1103). ACM.
  • 4.    Chen, D., Yuan, L., Liao, J., Yu, N. and Hua, G., 2017. Stylebank: An explicit representation for neural image style transfer. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1897-1906).
  • 5.    LeCun, Y., 1987. Modèles connexionnistes de l'apprentissage. These de Doctorat. Universite P. et M. Curie (Paris 6).
  • 6.    Ackley, D.H., Hinton, G.E. and Sejnowski, T.J., 1985. A learning algorithm for Boltzmann machines. Cognitive science, 9(1), pp.147-169.
  • 7.    Hinton, G.E., 1990. Connectionist learning procedures. In Machine learning (pp. 555-610). Morgan Kaufmann.
  • 8.    Elman, J.L. and Zipser, D., 1988. Learning the hidden structure of speech. The Journal of the Acoustical Society of America, 83(4), pp.1615-1626.
  • 9.    Bourlard, H. and Kamp, Y., 1988. Auto-association by multilayer perceptrons and singular value decomposition. Biological cybernetics, 59(4-5), pp.291-294.
  • 10.    Hinton, G. E. and Zemel, R. S. (1994). Autoencoders, minimum description length, and helmholtz free energy. In NIPS’1993.