激活函數

激活函數（Activation functions）對於人工神經網絡 ^[1]  模型去學習、理解非常複雜和非線性的函數來説具有十分重要的作用。它們將非線性特性引入到我們的網絡中。如圖1，在神經元中，輸入的 inputs 通過加權，求和後，還被作用了一個函數，這個函數就是激活函數。引入激活函數是為了增加神經網絡模型的非線性。沒有激活函數的每層都相當於矩陣相乘。就算你疊加了若干層之後，無非還是個矩陣相乘罷了。

如果不用激活函數，每一層輸出都是上層輸入的線性函數，無論神經網絡有多少層，輸出都是輸入的線性組合，這種情況就是最原始的感知機（Perceptron）。

如果使用的話，激活函數給神經元引入了非線性因素，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到眾多的非線性模型中。

Sigmoid函數是一個在生物學中常見的S型函數，也稱為S型生長曲線。在信息科學中，由於其單增以及反函數單增等性質，Sigmoid函數常被用作神經網絡的閾值函數，將變量映射到0,1之間 ^[2]  。公式如下

函數圖像如下

Tanh是雙曲函數中的一個，Tanh()為雙曲正切。在數學中，雙曲正切“Tanh”是由基本雙曲函數雙曲正弦和雙曲餘弦推導而來。公式如下

函數圖像如下

Relu激活函數（The Rectified Linear Unit），用於隱層神經元輸出。公式如下

函數圖像如下