層次貝葉斯模型

層次貝葉斯模型是一個統計模型，用來為具有不同水平的問題進行建模，通過貝葉斯方法估計後驗分佈的參數。

我們對層次貝葉斯推斷的策略與一般的多參數問題一樣，但由於在實際中層次模型的參數很多，所以比較困難。在實際中，我們很難畫出聯合後驗概率分佈的圖形。但是，我們可以使用近似的基於仿真的方法。運用層次貝葉斯模型主要需要計算所有參數在已知觀測量下的條件後驗概率，其推導過程主要包含三個步驟 ^[1]  ：

很多統計模型都有多個參數，這些參數也可以通過某種方式變成具有結構的問題，意味着這些參數的聯合概率模型應當反應出它們之間的依賴關係。舉個例子説 ^[2]  ，在研究心臟病治療效果的時候，醫院 j 的病人的存活率為θj，那麼我們估計θj應當是相互聯繫的。我們可以看到使用先驗分佈，把θj當作一個總體分佈的樣本是很自然的事情。這樣的應用有一個很關鍵的點是，觀測數據，yij，其中 i 表示組的索引，j 表示單元的索引，可以用來估計θj的總體分佈，即便θj並不是觀測的。這樣的問題使用層次模型是很自然的事情，其中觀測的結果是在某些參數下的條件模型，這些參數稱為超參數。這樣的層次模型可以幫助我們理解多參數問題，並且在尋找計算策略時提供重要幫助。

實際中，簡單的非層次模型可能並不適合層次數據：在很少的參數情況下，它們並不能準確適配大規模數據集，然而，過多的參數則可能導致過擬合的問題。相反，層次模型有足夠的參數來擬合數據，同時使用總體分佈將參數的依賴結構化，從而避免過擬合問題。