貝葉斯學習

貝葉斯學習最早起源於數學家托馬斯

貝葉斯在1963年所證明的一個關於貝葉斯定理的特例。經過多位統計學家的共同努力，貝葉斯統計在20世紀50年代之後逐步建立起來，成為統計學中一個重要的組成部分。貝葉斯定理因其對於概率的主觀置信程度的獨特理解而聞名。此後，由於貝葉斯統計在後驗推理、參數估計、模型檢測、隱概率變量模型等諸多統計機器學習領域方面有廣泛而深遠的應用。 ^[1] 

設實驗

的樣本空間為Ω，A為

的事件，

是Ω的一個劃分，且

，則

全概率公式可以通過綜合分析一個較為複雜的事件發生的各種不同的原因、情況或途徑及其可能性求得該事件發生的概率。 ^[2] 

設實驗

的樣本空間為Ω，A為

的事件，

是Ω的一個劃分，且

，

，則

貝葉斯公式主要用於觀察一個事件已經發生時，去求導致所觀察到的事件發生的各種原因、情況或途徑及可能性大小。 ^[2] 

貝葉斯定理是關於隨機事件 A 和 B 的條件概率：

其中，

是在

發生的情況下

發生的可能性，

是

的先驗概率，

是已知

發生後

發生的概率，

是

的先驗概率。 ^[3] 

假定要估計的模型參數是服從一定分佈的隨機變量，根據經驗給出待估參數的先驗分佈(也稱為主觀分佈)，關於這些先驗分佈的信息被稱為先驗信息；然後根據這些先驗信息，並與樣本信息相結合，應用貝葉斯定理求出待估參數的後驗分佈；再應用損失函數，得出後驗分佈的一些特徵值，並把它們作為待估參數的估計量。

總體分佈參數的一個概率分佈。貝葉斯學派的根本觀點，是認為在關於總體分佈參數的任何統計推斷問題中，除了使用樣本所提供的信息外，還必須規定一個先驗分佈，它是在進行統計推斷時不可缺少的一個要素。他們認為先驗分佈不必有客觀的依據，可以部分地或完全地基於主觀信念。

根據樣本分佈和未知參數的先驗分佈，用概率論中求條件概率分佈的方法，求出的在樣本已知下，未知參數的條件分佈。因為這個分佈是在抽樣以後才得到的，故稱為後驗分佈。貝葉斯推斷方法的關鍵是任何推斷都必須且只須根據後驗分佈，而不能再涉及樣本分佈。 ^[3] 

已知：有N個蘋果，和M個梨子，蘋果為黃色的概率為20%，梨子為黃色的概率為80%，問：假如在這堆水果中觀察到了一個黃色的水果，這個水果是梨子的概率是多少？

利用全概率公式，有：

利用貝葉斯公式，有：