稀疏性

"稀疏性" 英文 sparsity;

光學偵察受到海洋氣候和氣象條件的限制,海洋環境具有目標稀疏性及機動性的影響。

稀疏性可以被簡單地解釋如下。如果當神經元的輸出接近於1的時候我們認為它被激活，而輸出接近於0的時候認為它被抑制，那麼使得神經元大部分的時間都是被抑制的限制則被稱作稀疏性限制。這裏我們假設的神經元的激活函數是sigmoid函數。如果你使用tanh作為激活函數的話，當神經元輸出為-1的時候，我們認為神經元是被抑制的。 ^[1] 

令

表示輸入為 x 時自編碼神經網絡隱藏神經元 j 的激活度，可得到

其中 p′ 表示隱藏神經元 j 的平均活躍度，注意，這裏是在訓練集上求平均。

然後，我們加入一個條件：

其中，p 為稀疏性參數，是一個比較接近於0的值，比如0.05.為了滿足這個條件，我們得讓大多數隱藏神經元的活躍度接近0.

為什麼要讓只要少部分中間隱藏神經元的活躍度，也就是輸出值大於0，其他的大部分為0.原因就是我們要做的就是模擬我們人腦。神經網絡本來就是模型人腦神經元的，深度學習也是。在人腦中有大量的神經元，但是大多數自然圖像通過我們視覺進入人腦時，只會刺激到少部分神經元，而大部分神經元都是出於抑制狀態的。而且，大多數自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。又或者説，這樣更加有助於我們用少量的神經元提取出自然圖像更加本質的特徵。 ^[1]