-
自編碼器
鎖定
自編碼器(autoencoder, AE)是一類在半監督學習和非監督學習中使用的人工神經網絡(Artificial Neural Networks, ANNs),其功能是通過將輸入信息作為學習目標,對輸入信息進行表徵學習(representation learning)
[1-2]
。
- 中文名
- 自編碼器
- 外文名
- autoencoder, AE
- 類 型
- 機器學習算法,神經網絡算法
自編碼器發展歷史
自編碼器在其研究早期是為解決表徵學習中的“編碼器問題(encoder problem)”,即基於神經網絡的降維問題而提出的聯結主義模型的學習算法。1985年,David H. Ackley、Geoffrey E. Hinton和Terrence J. Sejnowski在玻爾茲曼機上對自編碼器算法進行了首次嘗試,並通過模型權重對其表徵學習能力進行了討論
[6]
。在1986年反向傳播算法(Back-Propagation, BP)被正式提出後,自編碼器算法作為BP的實現之一,即“自監督的反向傳播(Self-supervised BP)”得到了研究
[7]
,並在1987年被Jeffrey L. Elman和David Zipser用於語音數據的表徵學習試驗
[8]
。自編碼器作為一類神經網絡結構(包含編碼器和解碼器兩部分)的正式提出,來自1987年Yann LeCun發表的研究
[5]
。LeCun (1987)使用多層感知器(Multi-Layer Perceptron, MLP)構建了包含編碼器和解碼器的神經網絡,並將其用於數據降噪。此外,在同一時期,Bourlard and Kamp (1988)使用MLP自編碼器對數據降維進行的研究也得到了關注
[9]
。1994年,Hinton和Richard S. Zemel通過提出“最小描述長度原理(Minimum Description Length principle, MDL)”構建了第一個基於自編碼器的生成模型
[10]
。
自編碼器算法
- 參考資料
-
- 1. Bengio, Y., Courville, A. and Vincent, P., 2013. Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8), pp.1798-1828.
- 2. Goodfellow, I., Bengio, Y., Courville, A..Deep learning (Vol. 1).Cambridge:MIT press,2016:Chapter 14, pp. 499-507
- 3. Vincent, P., Larochelle, H., Bengio, Y. and Manzagol, P.A., 2008, July. Extracting and composing robust features with denoising autoencoders. In Proceedings of the 25th international conference on Machine learning (pp. 1096-1103). ACM.
- 4. Chen, D., Yuan, L., Liao, J., Yu, N. and Hua, G., 2017. Stylebank: An explicit representation for neural image style transfer. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1897-1906).
- 5. LeCun, Y., 1987. Modèles connexionnistes de l'apprentissage. These de Doctorat. Universite P. et M. Curie (Paris 6).
- 6. Ackley, D.H., Hinton, G.E. and Sejnowski, T.J., 1985. A learning algorithm for Boltzmann machines. Cognitive science, 9(1), pp.147-169.
- 7. Hinton, G.E., 1990. Connectionist learning procedures. In Machine learning (pp. 555-610). Morgan Kaufmann.
- 8. Elman, J.L. and Zipser, D., 1988. Learning the hidden structure of speech. The Journal of the Acoustical Society of America, 83(4), pp.1615-1626.
- 9. Bourlard, H. and Kamp, Y., 1988. Auto-association by multilayer perceptrons and singular value decomposition. Biological cybernetics, 59(4-5), pp.291-294.
- 10. Hinton, G. E. and Zemel, R. S. (1994). Autoencoders, minimum description length, and helmholtz free energy. In NIPS’1993.