複製鏈接
請複製以下鏈接發送給好友

VC理論

鎖定
萬普尼克-澤範蘭傑斯理論(英語:Vapnik–Chervonenkis theory),又稱VC理論(VC theory)是一個於1960年代到1990年代由弗拉基米爾·萬普尼克(Vapnik)及亞歷克塞·澤範蘭傑斯建立的一套機器學習理論。
中文名
萬普尼克-澤範蘭傑斯理論
外文名
Vapnik–Chervonenkis theory
簡    稱
VC理論
提出者
弗拉基米爾·萬普尼克
建立時間
1960年代到1990年代

VC理論簡介

萬普尼克-澤範蘭傑斯理論(英語:Vapnik–Chervonenkis theory),又稱VC理論(VC theory)是一個於1960年代到1990年代由弗拉基米爾·萬普尼克(Vapnik)及亞歷克塞·澤範蘭傑斯建立的一套機器學習理論,使用統計的方法,因此有別於歸納學習等其它機器學習方法。 [1] 
由這套理論所引出的支持向量機對機器學習的理論界以及各個應用領域都有極大的貢獻。

VC理論主要內容

VC理論損失函數

最優化,統計學,計量經濟學決策論機器學習計算神經科學的領域中,損失函數成本函數是指一種將一個事件(在一個樣本空間中的一個元素)映射到一個表達與其事件相關的經濟成本或機會成本的實數上的一種函數,藉此直觀表示的一些"成本"與事件的關聯。一個最佳化問題的目標是將損失函數最小化。一個目標函數通常為一個損失函數的本身或者為其負值。當一個目標函數為損失函數的負值時,目標函數的值尋求最大化。
在統計學中,損失函數的作用是估計參數。

VC理論支持向量機

機器學習中,支持向量機(英語:support vector machine,常簡稱為SVM,又名支持向量網絡)是在分類迴歸分析中分析數據的監督式學習模型與相關的學習算法。給定一組訓練實例,每個訓練實例被標記為屬於兩個類別中的一個或另一個,SVM訓練算法創建一個將新的實例分配給兩個類別之一的模型,使其成為非概率二元線性分類器。SVM模型是將實例表示為空間中的點,這樣映射就使得單獨類別的實例被儘可能寬的明顯的間隔分開。然後,將新的實例映射到同一空間,並基於它們落在間隔的哪一側來預測所屬類別。
除了進行線性分類之外,SVM還可以使用所謂的核技巧有效地進行非線性分類,將其輸入隱式映射到高維特徵空間中。
當數據未被標記時,不能進行監督式學習,需要用非監督式學習,它會嘗試找出數據到簇的自然聚類,並將新數據映射到這些已形成的簇。將支持向量機改進的聚類算法被稱為支持向量聚類,當數據未被標記或者僅一些數據被標記時,支持向量聚類經常在工業應用中用作分類步驟的預處理。

VC理論條件隨機場

條件隨機場(conditional random field,簡稱 CRF),是一種鑑別式機率模型,是隨機場的一種,常用於標註或分析序列資料,如自然語言文字或是生物序列。
如同馬爾可夫隨機場,條件隨機場為無向性之圖模型,頂點間的連線代表隨機變量間的相依關係,在條件隨機場當中,隨機變量Y 的分佈為條件機率,給定的觀察值則為隨機變量 X。原則上,條件隨機場的圖模型佈局是可以任意給定的,一般常用的佈局是鏈接式的架構,鏈接式架構不論在訓練(training)、推論(inference)、或是解碼(decoding)上,都存在有效率的算法可供演算。
條件隨機場跟隱馬爾可夫模型常被一起提及,條件隨機場對於輸入和輸出的機率分佈,沒有如隱馬爾可夫模型那般強烈的假設存在。 線性鏈條件隨機場應用於標註問題是由Lafferty等人與2001年提出的。

VC理論相關

參考資料
  • 1.    Vapnik, Vladimir N. The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag. 2000. ISBN 978-0-387-98780-4.