損失函數

在樣本空間

內有可測狀態

和隨機變量

根據法則

所做的決策

，此時若在乘積空間

上有函數

滿足：

，即對任意的

，

是非負可測函數，則

被稱為損失函數，表示狀態

下采取決策

所對應的損失或風險 ^[4]  。

機器學習中，給定獨立同分布（independent and identically distributed,iid）的學習樣本

，和模型

，損失函數是模型輸出和觀測結果間概率分佈差異的量化 ^[1]  ：

式中

表示模型參數，上式右側具體的量化方法視問題和模型而定，但要求滿足損失函數的一般定義，即樣本空間的非負可測函數。

迴歸問題所對應的損失函數為L₂損失函數和L₁損失函數，二者度量了模型估計值

與觀測值

之間的差異：

式中

為真實值的權重，

為真實值，

為模型的輸出。各類迴歸模型，例如線性迴歸、廣義線性模型（Generalized Linear Model, GLM）和人工神經網絡（Artificial Neural Network, ANN）通過最小化L₂或L₁損失對其參數進行估計。L₂損失和L₁損失的不同在於，L₂損失通過平方計算放大了估計值和真實值的距離，因此對偏離觀測值的輸出給予很大的懲罰。此外，L₂損失是平滑函數，在求解其優化問題時有利於誤差梯度的計算；L₁損失對估計值和真實值之差取絕對值，對偏離真實值的輸出不敏感，因此在觀測中存在異常值時有利於保持模型穩定。

分類問題所對應的損失函數為0-1損失，其是分類準確度的度量，對分類正確的估計值取0，反之取1：

0-1損失函數是一個不連續的分段函數，不利於求解其最小化問題，因此在應用可構造其代理損失（surrogate loss）。代理損失是與原損失函數具有相合性（consistency）的損失函數，最小化代理損失所得的模型參數也是最小化原損失函數的解。當一個函數是連續凸函數，並在任意取值下是0-1損失函數的上界時，該函數可作為0-1損失函數的代理函數 ^[5-6]  。

這裏給出二元分類（binary classification）中0-1損失函數的代理損失：

鉸鏈損失函數是一個分段連續函數，其在分類器分類完全正確時取0。使用鉸鏈損失對應的分類器是支持向量機（Support Vector Machine, SVM），鉸鏈損失的性質決定了SVM具有稀疏性，即分類正確但概率不足1和分類錯誤的樣本被識別為支持向量（support vector）被用於劃分決策邊界，其餘分類完全正確的樣本沒有參與模型求解 ^[6]  。

交叉熵損失函數是一個平滑函數，其本質是信息理論（information theory）中的交叉熵（cross entropy）在分類問題中的應用。由交叉熵的定義可知，最小化交叉熵等價於最小化觀測值和估計值的相對熵（relative entropy），即兩者概率分佈的Kullback-Leibler散度：

，因此其是一個提供無偏估計的代理損失。交叉熵損失函數是表中使用最廣泛的代理損失，對應的分類器例子包括logistic迴歸、人工神經網絡和概率輸出的支持向量機。

指數損失函數是表中對錯誤分類施加最大懲罰的損失函數，因此其優勢是誤差梯度大，對應的極小值問題在使用梯度算法時求解速度快。使用指數損失的分類器通常為自適應提升算法（Adaptive Boosting, AdaBoost），AdaBoot利用指數損失易於計算的特點，構建多個可快速求解的“弱”分類器成員並按成員表現進行賦權和迭代，組合得到一個“強”分類器並輸出結果。