jürgen schmidhuber

于爾根·施密德胡伯（Jürgen Schmidhuber） ^[2]  在德國慕尼黑慕尼黑工業大學完成了本科（1987 年）和博士（1991 年）學習，並從 2004 年到 2009 年在那裏任教。自 1995 年以來，他一直擔任瑞士人工智能研究所 (IDSIA) 的主任。從 2009 年起，他同時擔任瑞士盧加諾大學的人工智能教授。

在 20 世紀 80 年代，反向傳播對於人工神經網絡中具有長信用分配路徑的深度學習效果不佳。為了克服這個問題，Schmidhuber（1991）提出了一種循環神經網絡（RNN）層次結構，它使用預測編碼來學習多個自組織時間尺度的內部表示，這可以極大地促進下游深度學習。

1991 年，Schmidhuber 發表了對抗性神經網絡，它們以零和博弈的形式相互競爭，其中一個網絡的收益就是另一個網絡的損失。 其中第一個網絡是一個生成模型，用於對輸出模式的概率分佈進行建模。第二個網絡通過梯度下降學習來預測環境對這些模式的反應，這被稱為“人工好奇心”。 2014 年，這一原理被用於生成對抗網絡（GAN）發揚光大。

Schmidhuber 指導了他的學生 Sepp Hochreiter 於1991 年完成的畢業論文，並稱其為“機器學習史上最重要的文獻之一”。 它不僅測試了神經歷史壓縮器（the neural history compressor），還分析並克服了梯度消失問題。這催生了稱為長短期記憶（LSTM）的深度學習方法，這是一種循環神經網絡（RNN）。LSTM 已成為 20 世紀被引用最多的神經網絡。 到 2010 年代，LSTM 成為包括語音識別和機器翻譯在內的各種自然語言處理任務的主導技術，並廣泛應用於 Google Translate 和 Siri 等商業技術中。

2009年至2012年9月期間，Schmidhuber 團隊開發的深度/循環神經網絡（NN）贏得了八次國際模式識別競賽。 2017年，他的一個團隊還獲得了NIPS強化學習大賽的冠軍。

自 2018 年以來，Transformers 通過 ChatGPT 等大型語言模型取代了 LSTM，成為自然語言處理領域的主導神經網絡架構。早在 1992 年，Schmidhuber 也發表了與之有共通之處的神經網絡架構，目前被稱為具有線性自注意力的 Transformer（a Transformer with linearized self-attention）。

Schmidhuber 認為，他和其他研究人員對深度學習領域的貢獻沒有得到足夠的認可，而傑弗裏·辛頓 (Geoffrey Hinton)、約書亞·本吉奧 (Yoshua Bengio) 和揚·勒昆 (Yann LeCun) 則因在深度學習方面的工作而分享了 2018 年圖靈獎。他在 2015 年寫了一篇“嚴厲的”文章，認為 Hinton、Bengio 和 Lecun“大量引用了對方”，但“沒有讚揚在他們之前的先驅者”。

同為AI領域的前輩級人物，Schmidhuber開創性成果等身，但獲得的聲譽和認可度似乎總與期望值有很大差距。2018年深度學習三巨頭：Yoshua Bengio、Geoffrey Hinton、Yann LeCun榮獲圖靈獎時，也有不少的人質疑：圖靈獎為什麼沒頒給LSTM之父Jürgen Schmidhuber？ ^[3] 

一些人認為，Schmidhuber的重大成就由於他的對抗性性格而被低估。“schmidhubered”一詞在人工智能領域中被開玩笑地用來形容Schmidhuber公開挑戰其他研究人員工作是否具備原創性的習慣，這種做法被人工智能領域的一些人視為年輕研究人員的“成人禮”。

Schmidhuber 於 2013 年獲得國際神經網絡協會亥姆霍茲獎（the Helmholtz Award），並於 2016 年獲得 IEEE 計算智能協會神經網絡先鋒獎 ，以表彰其“對深度學習和神經網絡等人工智能領域的開創性貢獻”。他也是歐洲科學與藝術學院（the European Academy of Sciences and Arts）的院士。2017年他被任命為瑞士技術科學院院士。

他被人稱為“LSTM之父”，也被稱為“（現代）人工智能之父”或類似稱號，然而，Schmidhuber 本人將 Alexey Grigorevich Ivakhnenko 稱為“深度學習之父”，並讚揚了許多更早期的人工智能先驅的工作。