激勵函數

Sigmoid函數。是連續，可導，有界，關於原點對稱的增函數，呈S形，具體可用反正切函數arctan或指數函數exp來實現，如f(x)=arctan(x)/(pi/2), f(x)=1/(1+e-x)；

階躍函數；是sigmoid函數的不可導版本；

徑向基函數。是函數值沿從輸入空間中某點向外輻射的徑向射線變化的函數。在空間呈球形。

神經網絡中的每個節點接受輸入值，並將輸入值傳遞給下一層。輸入節點會將輸入屬性值直接傳遞給下一層（隱層或輸出層）。在神經網絡中，隱層和輸出層節點的輸入和輸出之間具有函數關係，這個函數稱為激勵函數（Activation Function）。 ^[1] 

神經網絡中每個結點i的輸出都基於相關的激勵函數

的定義。激勵函數有時也叫處理單元函數或壓縮函數。它用於輸入弧上的一組輸入。激勵函數也叫點火規則，這使它與人腦的工作聯繫起來。當一個神經元的輸入足夠大時，就會點火，也就是從它的軸突（輸出連接）發送電信號。同樣，在人工神經網絡中，只要輸入超過一定標準時才會產生輸出，這就是點火規則的思想。當只處理二值輸出時，輸出要麼為0要麼為1，取決於神經元是否應該點火。 ^[2] 

激勵函數

應用於一組輸入值{

，

，

}和權值{

，

，

}，這些輸入值通常以乘積之和的形式

合併到一起。如果存在偏移，則公式需加上

。 ^[2] 

多種函數可以作為激勵函數，只需要滿足兩個條件：

1.函數必須輸出 [0，1]之間的值；

2.函數在充分活躍時，將輸出一個接近1的值，表示從未在網絡中傳播活躍性。 ^[1] 

線性激勵函數基於輸入產生一個線性輸出值。

，其中c是一個正的常數。這是一個常見的線性激勵函數。

對於線性函數，輸出沒有最大值和最小值方面的限制。 ^[2] 

階躍激勵函數的輸出值為1或0，它取決於輸入值和相應權值的乘積之和，當乘積之和高於閾值T時，所對應的的值為1，否則為0。輸出值也可以是-1或1。另外，1還可以被任何常數所替代。這種“硬性限制”閾值函數的一個變種是線性閾值函數。線性閾值函數也叫作斜坡函數或分段線性函數，這種激勵函數的值從小到大逐漸增加。下面的函數

就是一個線性閾值函數，

滿足：

（1）當

時，

；

（2）當

時，

；

（3）當

時，

;

這裏的線性增長存在於

和

之間。與一般的閾值函數類似，這裏函數的取值可以在-1~1之間，也可以在0~1之間。 ^[2] 

S形激勵函數是一個輸出值在-1~1之間（或0~1之間）的S形曲線，它是單調增加的。雖然S形函數有幾種類型，但是它們都具有“S”形特徵。

一個常見的S形函數是logistic函數：

，其中c是一個正的常數，它可以改變函數的傾斜程度。該函數的導數很簡單：

。 ^[2] 

S形函數的一個變種是雙曲正切函數，如：

該函數有一個以0為中心的輸出。

高斯函數是一個輸出值在區間 [0,1]上的鐘形曲線。

一個典型的高斯函數是：

，其中S是均值，V是預先定義的表示方差的正值。 ^[2] 

求取激勵函數逆函數積分和的目的是為了配合所設計的能量函數的數值計算，但是該值得求取具有以下困難：

（1）逆函數無法用數學解析表達；

（2）要對逆函數積分並不容易；

（3）即使可以積分，也會很浪費時間，不適宜在算法迭代中直接使用。

為了解決上述問題，這裏將以64QAM信號的激勵函數為例來闡述求取改該值的方法：

（1）利用正函數，求關於逆函數的積分；

（2）利用Cumtrapz求在區間段的積分採樣值；

（3）利用多項式進行最小二乘迴歸，獲得迴歸函數的迴歸擬合曲線。

只要預先獲得激勵函數的逆函數積分和，就可以很容易地構造出對應的搜索表，然後在迭代中直接採用查表方法獲得相應的值，或者可以根據擬合迴歸函數進行近似計算逆函數積分和的值。 ^[3]