最小距離分類

最小距離分類法是分類器裏面最基本的一種分類方法，它是通過求出未知類別向量X到事先已知的各類別（如A，B，C等等）中心向量的距離D，然後將待分類的向量X歸結為這些距離中最小的那一類的分類方法。 ^[1] 

在一個n維空間中，最小距離分類法首先計算每一個已知類別

（用向量表示是

）的各個維度的均值，形成一個均值

，用向量表示

）（A為類別的名稱，

是類別A的樣本特徵集合，

是類別A的第1維特徵集合，

是第一維特徵集合的均值，n為總的特徵維數），同理，計算另一個類別

（用向量表示是

）的均值

，用向量表示

，那麼對於一個待分類的樣本特徵向量x（用向量表示是

），怎麼判斷它是屬於類別

，還是

呢？我們只需要分別計算到

和

的距離

和

，以歐式距離為例，距離的計算公式如下：

然後找

和

中的最小值，如果前者最小，那麼X屬於A類，如果後者小，那麼X屬於B類。

目前有多種不同的計算分類距離的方法，在上面的距離計算公式中，是我們最常見的計算距離的方法，歐氏距離。另外也有其它很多的距離公式，如歐氏距離，曼哈頓距離，閔可夫斯基距離，切比雪夫距離，標準化歐式距離等等，這裏不一一做介紹，只對下面的三個距離做重點介紹一下，以是我們能夠理解不同距離，對應不同的意義 ^[2-3]  ：

歐氏距離(EuclideanDistance)是最易於理解的一種距離計算方法，源自歐氏空間中兩點間的距離公式。

(1)二維平面上兩點

與

間的歐氏距離：

(2)三維空間兩點

與

間的歐氏距離：

3)兩個n維向量

與

間的歐氏距離：

從名字就可以猜出這種距離的計算方法了。想象你在曼哈頓要從一個十字路口開車到另外一個十字路口，駕駛距離是兩點間的直線距離嗎？顯然不是，除非你能穿越大樓。實際駕駛距離就是這個“曼哈頓距離”。而這也是曼哈頓距離名稱的來源， 曼哈頓距離也稱為城市街區距離(City Blockdistance)。

(1)二維平面兩點

與

間的曼哈頓距離：

(2)兩個n維向量

與

間的曼哈頓距離：

閔氏距離(MinkowskiDistance)不是一種距離，而是一組距離的定義。

(1)閔氏距離的定義

兩個n維變量

與

間的閔可夫斯基距離定義為：

其中p是一個變參數。

當p=1時，就是曼哈頓距離

當p=2時，就是歐氏距離

當p→∞時，就是切比雪夫距離

p取不同的值，公式也不一樣，所以隨着參數p的不同，閔氏距離可以表示一類的距離。

最小距離分類器的步驟，其實是我們做監督分類基本的幾個步驟。

(1)確定類別m，並提取每一類所對應的已知的樣本。

(2)從樣本中提取出一些可以作為區分不同類別的特性，也就是我們通常所説的特徵提取，如果提取出了n個不同的特性，那麼我們就叫它n維空間，特徵提取對分類的精度有重大的影響。

(3)分別計算每一個類別的樣本所對應的特徵，每一類的每一維都有特徵集合，通過集合，可以計算出一個均值，也就是特徵中心。

(4)通常為了消除不同特徵因為量綱不同的影響，我們對每一維的特徵，需要做一個歸一化，或者是放縮到（-1,1）等區間，使其去量綱化。

(5)利用選取的距離準則，對待分類的本進行判定。

最小距離分類法原理簡單，容易理解，計算速度快，但是因為其只考慮每一類樣本的均值，而不用管類別內部的方差（每一類樣本的分佈），也不用考慮類別之間的協方差（類別和類別之間的相關關係），所以分類精度不高，因此，一般不用它作為我們分類對精度有高要求的分類，但它可以在快速瀏覽分類概況中使用。