判別模型

在機器學習領域判別模型是一種對未知數據 y 與已知數據 x 之間關係進行建模的方法。判別模型是一種基於概率理論的方法。已知輸入變量 x ，判別模型通過構建條件概率分佈 P(y|x) 預測 y 。 ^[1] 

在概率框架內，已知輸入變量x，判別模型通過求解條件概率分佈P(y|x)預測y。

常見的判別式模型有線性迴歸模型、線性判別分析、支持向量機SVM、神經網絡等。

與生成模型不同，判別模型不考慮x與y間的聯合分佈。但對於諸如分類和迴歸問題，由於不考慮聯合概率分佈，採用判別模型可以取得更好的效果。另一方面，生成模型在刻畫複雜學習任務中的依賴關係方面較判別模型更加靈活。

大部分判別模型本身是監督學習模型，不易擴展用於非監督學習過程。具體應用的特點最終決定判別模型和生成模型的適用性。 ^[1] 

在概率統計理論中,生成模型是指能夠隨機生成觀測數據的模型，尤其是在給定某些隱含參數的條件下。它給觀測值和標註數據序列指定一個聯合概率分佈。在機器學習中，生成模型可以用來直接對數據建模（例如根據某個變量的概率密度函數進行數據採樣），也可以用來建立變量間的條件概率分佈。條件概率分佈可以由生成模型根據貝葉斯定理形成。

香農(1948) 給出了有一個英語雙詞頻率表生成句子的例子。可以生成如“representing and speedily is an good”這種句子。一開始並不能生成正確的英文句子，但隨着詞頻表由雙詞擴大為三詞甚至多詞，生成的句子也就慢慢的成型了。

生成模型的定義與判別模型相對應：生成模型是所有變量的全概率模型，而判別模型是在給定觀測變量值前提下目標變量條件概率模型。因此生成模型能夠用於模擬（即生成）模型中任意變量的分佈情況，而判別模型只能根據觀測變量得到目標變量的採樣。判別模型不對觀測變量的分佈建模，因此它不能夠表達觀測變量與目標變量之間更復雜的關係。因此，生成模型更適用於無監督的任務，如分類和聚類。

典型的生成模型包括:

如果觀測數據是由生成模型中採樣的，那麼最大化數據似然概率是一個常見的方法。但是，大部分統計模型只是近似於真實分佈，如果任務的目標是在已知一部分變量的值的條件下，對另一部分變量的推斷，那麼可以認為這種模型近似造成了一些對於當前任務來説不必要的假設。在這種情況下，使用判別模型對條件概率函數建模可能更準確，儘管具體的應用細節會最終決定哪種方法更為適用。 ^[2]