線性判別函數

統計模式識別中用以對模式進行分類的一種最簡單的判別函數稱為線性判別函數。在特徵空間中，通過學習，不同的類別可以得到不同的判別函數，比較不同類別的判別函數值大小，就可以進行分類。統計模式識別方法把特徵空間劃分為決策區對模式進行分類。一個模式類同一個或幾個決策區相對應。每個決策區對應一個判別函數。對於特徵空間中的每個特徵向量 x ，可以計算相應於各個決策區的判別函數g_i(x)，i=1,2,…,c。

人們已研究出多種求取決策邊界的算法。線性判別函數的決策邊界是一個超平面方程式，其中的係數可以從已知類別的學習樣本集求得。F.羅森布拉特的錯誤修正訓練程序是求取兩類線性可分分類器決策邊界的早期方法之一。在用線性判別函數不可能對所有學習樣本正確分類的情況下，可以規定一個準則函數（例如對學習樣本的錯分數最少）並用使準則函數達到最優的算法求取決策邊界。用線性判別函數的模式分類器也稱為線性分類器或線性機。這種分類器計算簡單，不要求估計特徵向量的類條件概率密度，是一種非參數分類方法。

當用貝葉斯決策理論進行分類器設計時，在一定的假設下也可以得到線性判別函數，這無論對於線性可分或線性不可分的情況都是適用的。在問題比較複雜的情況下可以用多段線性判別函數（見近鄰法分類、最小距離分類）或多項式判別函數對模式進行分類。一個二階的多項式判別函數可以表示為與它相應的決策邊界是一個超二次曲面。 ^[1] 

[discriminant by distance]

所謂距離判別就是計算欲判類屬的樣本 x 到兩個總體

和

的距離

和

，按照如下準則來判別樣本的歸屬；

其中距離

為馬哈拉諾比斯距離其定義為

為總體

的均值向量，

是總體

和

的協方差距陣。容易算得

令

則判別準則可重新寫為

當

，

，

已知時，令

，則有

稱其為線性判別函數，

稱為判別係數 (discriminant coefficient)。

這樣，利用線性判別函數

可以把空間劃分成兩部分：

和

。當樣本 x 落入

時，推斷

；當樣本 x 落入

時，推斷

。當 m 個總體

時，其中各總體的均值分別為

，

，各總體的協方差距陣滿足

，這時線性判別函數為

其判別準則為：當 x 落入

內時，

，判

，其中

。

當 m 個總體

的協方差矩陣

不同時，令

則相應的判別準則為：當 x 落入

內時，

, 判斷

。 ^[2]