稀疏連接

卷積網絡的歷史始於神經科學實驗，遠早於相關計算模型的發展。為了確定哺乳動物視覺系統如何工作的許多最基本的事實，神經生理學家 David Hubel和Torsten Wiesel 合作多年 ^[1-3]  。他們的成就最終了諾貝爾獎。他們的發現對當代深度學習模型有最大影響的是基於記錄貓的單經元的活動。他們觀察了貓的腦內神經元如何響應投影在貓前面屏幕上精確位圖像。他們的偉大發現是，處於視覺系統較為前面的神經元對非常特定的光模如精確定向的條紋）反應最強烈，但對其他模式幾乎完全沒有反應。

從深度度學習的角度來看，在一種簡化的、草圖形式的大腦功能視圖中，我們關注被稱為V1的大腦的一部分，也稱為初級視層（primary visual cortex）。V1是大腦對視覺輸入開始執行顯著高級處理的第區域。在該草圖視圖中，圖像是由光到達眼睛並刺激視網膜（眼睛後部的光敏形成的。視網膜中的神經元對圖像執行一些簡單的預處理，但是基本不改變表示的方式。然後圖像通過視神經和稱為外側膝狀核的腦部區域。這些解剖區主要作用是僅僅將信號從眼睛傳遞到位於頭後部的V1。卷積網絡層被設計為描述V1的三個性質：

（1）V1可以進行空間映射。它實際上具有二維結構來反映視網膜中的圖像結構。例如，到達視網膜下半部的光僅影響V1相應的一半。卷積網絡通過用二維映射定義特徵的方式來描述該特性。

（2）V1包含許多簡單細胞（simple cell）。簡單細胞的活動在某種程度上可以概括為在一個小的空間位置感受野內的圖像的線性函數。卷積網絡的檢測器單元被設計為模擬簡單細胞的這些性質。

（3）V1還包括許多複雜細胞（complex cell）。這些細胞響應類似於由簡單細胞檢測的那些特徵，但是複雜細胞對於特徵的位置微小偏移具有不變性。這啓發了卷積網絡的池化單元。複雜細胞對於照明中的一些變化也是不變的，不能簡單地通過在空間位置上池化來刻畫。這些不變性激發了卷積網絡中的一些跨通道池化策略，例如 maxout單元。 ^[4] 

稀疏連接的圖形化解釋如圖1和圖2所示。

在圖1中，對每幅圖從下往上看。我們強調了一個輸入單元

以及在

中受該單元影響的輸出單元。 (上) 當

是由核寬度為 3 的卷積產生時，只有三個輸出受到

的影響。 (下) 當

是由矩陣乘法產生時，連接不再是稀疏的，所以，所有的輸出都會受到

的影響。

在圖2中，對每幅圖從上往下看。我們強調了一個輸出單元

以及

中影響該單元的輸入單元。這些單元被稱為

的 接受域（receptive field）。 (上) 當

是由核寬度為 3 的卷積產生時，只有三個輸入影響

。 (下) 當 s 是由矩陣乘法產生時，連接不再是稀疏的，所以，所有的輸入都會影響

。

在深度卷積網絡中，處在網絡深層的單元可能與絕大部分輸入是間接交互的，如圖3所示。這允許網絡可以通過只描述稀疏交互的基石來高效地描述多個變量的複雜交互。圖3是處於卷積網絡更深的層中的單元，它們的接受域要比處在淺層的單元的接受域更大。如果網絡還包含類似步幅卷積或者池化之類的結構特徵，這種效應會加強。這意味着在卷積網絡中儘管直接連接都是很稀疏的，但處在更深的層中的單元可以間接地連接到全部或者大部分輸入圖像。 ^[4] 

傳統的神經網絡使用矩陣乘法來建立輸入與輸出的連接關係。其中，參數矩陣中每一個單獨的參數都描述了一個輸入單元與一個輸出單元間的交互。這意味着每一個輸出單元與每一個輸入單元都產生交互。然而， 卷積網絡具有稀疏交互（sparse interactions）的特徵。這是使核的大小遠小於輸入的大小來達到的。

舉個例子，當處理一張圖像時，輸入的圖像可能包含成千上萬個像素點，但是我們可以通過只佔用幾十到上百個像素點的核來檢測一些小的有意義的特徵，例如圖像的邊緣。這意味着我們需要存儲的參數更少，不僅減少了模型的存儲需求，而且提高了它的統計效率。這也意味着為了得到輸出我們只需要更少的計算量。這些效率上的提高往往是很顯著的。如果有

個輸入和

個輸出，那麼矩陣乘法需要

個參數並且相應算法的時間複雜度為

（對於每一個例子）。如果我們限制每一個輸出擁有的連接數為

，那麼稀疏的連接方法只需要

個參數以及

的運行時間。在很多實際應用中，只需保持

比

小几個數量級，就能在機器學習的任務中取得好的表現。 ^[4]