生成模型

監督學習方法可以分為生成方法（generative approach）和判別方法（discriminative approach）。所學到的模型分別稱為生成模型（generative model）和判別模型（discriminative model）。生成方法由數據學習聯合概率分佈

，然後求出條件概率分佈

作為預測的模型，即生成模型：

^[1] 

概率生成模型，簡稱生成模型（Generative Model），是概率統計和機器學習中的一類重要模型，指一系列用於隨機生成可觀測數據的模型 ^[2]  。生成模型的應用十分廣泛，可以用來不同的數據進行建模，比如圖像、文本、聲音等。比如圖像生成，我們將圖像表示為一個隨機向量X，其中每一維都表示一個像素值。假設自然場景的圖像都服從一個未知的分佈pr(x)，希望通過一些觀測樣本來估計其分佈。高維隨機向量一般比較難以直接建模，需要通過一些條件獨立性來簡化模型。深度生成模型就是利用深層神經網絡可以近似任意函數的能力來建模一個複雜的分佈。方法：從統計的角度表示數據的分佈情況，能夠反映同類數據本身的相似度；生成方法還原出聯合概率分佈，而判別方法不能；生成方法的學習收斂速度更快、即當樣本容量增加的時候，學到的模型可以更快地收斂於真實模型；當存在隱變量時，仍可以用生成方法學習，此時判別方法不能用。

例如，香農 (1948) 給出了有一個英語雙詞頻率表生成句子的例子。可以生成如“representing and speedily is an good”這種句子。一開始並不能生成正確的英文句子，但隨着詞頻表由雙詞擴大為三詞甚至多詞，生成的句子也就慢慢的成型了。

在機器學習領域判別模型是一種對未知數據

與已知數據

之間關係進行建模的方法。判別模型是一種基於概率理論的方法。已知輸入變量

，判別模型通過構建條件概率分佈

預測

。生成模型的定義與判別模型相對應：生成模型是所有變量的全概率模型，而判別模型是在給定觀測變量值前提下目標變量條件概率模型。因此生成模型能夠用於模擬（即生成）模型中任意變量的分佈情況，而判別模型只能根據觀測變量得到目標變量的採樣。判別模型不對觀測變量的分佈建模，因此它不能夠表達觀測變量與目標變量之間更復雜的關係。因此，生成模型更適用於無監督的任務，如分類和聚類。如果觀測數據是由生成模型中採樣的，那麼最大化數據似然概率是一個常見的方法。但是，大部分統計模型只是近似於真實分佈，如果任務的目標是在已知一部分變量的值的條件下，對另一部分變量的推斷，那麼可以認為這種模型近似造成了一些對於當前任務來説不必要的假設。在這種情況下，使用判別模型對條件概率函數建模可能更準確，儘管具體的應用細節會最終決定哪種方法更為適用。

為單一高斯概率密度函數的延伸，用多個高斯概率密度函數（正態分佈曲線）精確地量化變量分佈，是將變量分佈分解為若干基於高斯概率密度函數（正態分佈曲線）分佈的統計模型。

隱馬爾可夫模型（Hidden Markov Model，HMM）是統計模型，它用來描述一個含有隱含未知參數的馬爾可夫過程。其難點是從可觀察的參數中確定該過程的隱含參數。然後利用這些參數來作進一步的分析，例如模式識別。在正常的馬爾可夫模型中，狀態對於觀察者來説是直接可見的。這樣狀態的轉換概率便是全部的參數。而在隱馬爾可夫模型中,狀態並不是直接可見的，但受狀態影響的某些變量則是可見的。每一個狀態在可能輸出的符號上都有一概率分佈。因此輸出符號的序列能夠透露出狀態序列的一些信息。

在機器學習中，樸素貝葉斯分類器是一系列以假設特徵之間強（樸素）獨立下運用貝葉斯定理為基礎的簡單概率分類器。

樸素貝葉斯自20世紀50年代已廣泛研究。在20世紀60年代初就以另外一個名稱引入到文本信息檢索界中， 並仍然是文本分類的一種熱門（基準）方法，文本分類是以詞頻為特徵判斷文件所屬類別或其他（如垃圾郵件、合法性、體育或政治等等）的問題。通過適當的預處理，它可以與這個領域更先進的方法（包括支持向量機）相競爭。它在自動醫療診斷中也有應用。

樸素貝葉斯分類器是高度可擴展的，因此需要數量與學習問題中的變量（特徵/預測器）成線性關係的參數。最大似然訓練可以通過評估一個封閉形式的表達式來完成，只需花費線性時間，而不需要其他很多類型的分類器所使用的費時的迭代逼近。

在統計學和計算機科學文獻中，樸素貝葉斯模型有各種名稱，包括簡單貝葉斯和獨立貝葉斯。所有這些名稱都參考了貝葉斯定理在該分類器的決策規則中的使用，但樸素貝葉斯不（一定）用到貝葉斯方法；《Russell和Norvig》提到樸素貝葉斯有時被稱為貝葉斯分類器，這個馬虎的使用促使真正的貝葉斯論者稱之為傻瓜貝葉斯模型。