-
歸一化指數函數
鎖定
- 中文名
- 歸一化指數函數
- 外文名
- Normalized exponential function
- 別 名
- Softmax函數
- 領 域
- 人工智能
- 定 義
- 使每一個元素的範圍在(0,1)之間
- 應 用
- 多分類問題
歸一化指數函數簡介
歸一化指數函數，或Softmax函數，實際上是有限項離散概率分佈的梯度對數歸一化。因此，Softmax函數在包括多項邏輯迴歸，多項線性判別分析，樸素貝葉斯分類器和人工神經網絡等的多種基於概率的多分類問題方法中都有着廣泛應用。在多項邏輯迴歸和線性判別分析中，函數的輸入是從K個不同的線性函數得到的結果，而樣本向量 x 屬於第 j 個分類的概率為：
以下是歸一化指數函數代碼實現示例，輸入向量 [1,2,3,4,1,2,3]對應的Softmax函數的值為[0.024,0.064,0.175,0.475,0.024,0.064,0.175]。輸出向量中擁有最大權重的項對應着輸入向量中的最大值“4”。這也顯示了這個函數通常的意義：對向量進行歸一化，凸顯其中最大的值並抑制遠低於最大值的其他分量。下面是使用Python進行函數計算的示例代碼：
import math z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0] z_exp = [math.exp(i) for i in z] print(z_exp) # Result: [2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09] sum_z_exp = sum(z_exp) print(sum_z_exp) # Result: 114.98 # Result: [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175] softmax = [round(i / sum_z_exp, 3) for i in z_exp] print(softmax)
歸一化指數函數邏輯函數
邏輯函數或邏輯曲線是一種常見的S函數，它是皮埃爾·弗朗索瓦·韋呂勒在1844或1845年在研究它與人口增長的關係時命名的。廣義Logistic曲線可以模仿一些情況人口增長（P）的S形曲線。起初階段大致是指數增長；然後隨着開始變得飽和，增加變慢；最後，達到成熟時增加停止。
歸一化指數函數分類器
分類是數據挖掘的一種非常重要的方法。分類的概念是在已有數據的基礎上學會一個分類函數或構造出一個分類模型（即通常所説的分類器(Classifier)）。該函數或模型能夠把數據庫中的數據記錄映射到給定類別中的某一個，從而可以應用於數據預測。總之，分類器是據挖掘中對樣本進行分類的方法的統稱，包含決策樹、邏輯迴歸、樸素貝葉斯、神經網絡等算法。分類器的構造和實施大體會經過以下幾個步驟：
選定樣本（包含正樣本和負樣本），將所有樣本分成訓練樣本和測試樣本兩部分。
在訓練樣本上執行分類器算法，生成分類模型。
在測試樣本上執行分類模型，生成預測結果。
根據預測結果，計算必要的評估指標，評估分類模型的性能。
歸一化指數函數交叉熵
交叉熵（Cross Entropy）是Shannon信息論中一個重要概念，主要用於度量兩個概率分佈間的差異性信息。語言模型的性能通常用交叉熵和複雜度（perplexity）來衡量。交叉熵的意義是用該模型對文本識別的難度，或者從壓縮的角度來看，每個詞平均要用幾個位來編碼。複雜度的意義是用該模型表示這一文本平均的分支數，其倒數可視為每個詞的平均概率。平滑是指對沒觀察到的N元組合賦予一個概率值，以保證詞序列總能通過語言模型得到一個概率值。通常使用的平滑技術有圖靈估計、刪除插值平滑、Katz平滑和Kneser-Ney平滑。交叉熵可在神經網絡（機器學習）中作為損失函數，p表示真實標記的分佈，q則為訓練後的模型的預測標記分佈，交叉熵損失函數可以衡量p與q的相似性。交叉熵作為損失函數還有一個好處是使用sigmoid函數在梯度下降時能避免均方誤差損失函數學習速率降低的問題，因為學習速率可以被輸出的誤差所控制。
[2]
