-
AIC
(赤池信息準則)
鎖定
- 中文名
- 赤池信息量準則
- 外文名
- Akaike information criterion
- 簡 稱
- AIC
- 定 義
- 對多種模型作選擇的判別方法
- 創立人
- 赤池弘次
數字信號處理中對多種模型作選擇的判別方法。
在一般的情況下,AIC可以表示為: AIC=2k-2ln(L)
其中:k是參數的數量,L是似然函數。
假設條件是模型的誤差服從獨立正態分佈。
讓n為觀察數,SSR(SUM SQAURE OF RESIDUE)為殘差平方和,那麼AIC變為: AIC=2k+nln(SSR/n)
增加自由參數的數目提高了擬合的優良性,AIC鼓勵數據擬合的優良性但是儘量避免出現過度擬合(Overfitting)的情況。所以優先考慮的模型應是AIC值最小的那一個。假設在n個模型中做出選擇,可一次算出n個模型的AIC值,並找出最小AIC值相對應的模型作為選擇對象。
赤池信息準則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。
AIC提出背景
1971年由赤池弘次提出,該準則於1973年以概念簡介的形式發表。1974年首次出現在赤池弘次發表的正式論文中。截止2018年6月,該論文已被超過4萬次引用。
AIC數學表達及應用
AIC公式如圖1所示。
其中e^(2k/T)為懲罰因子(penalty factor)。
AIC指標是常用的利用趨勢估計預測模型的指標之一,其他三種主要指標為Mean Squared Error (MSE),s^2和Schwarz information criterion (SIC)。s^2和SIC的penalty factor依次為(T/T-K)及T^(k/T)。
假設自由度從0變動到0.2,s^2、AIC及SIC的懲罰因子的變化將如圖2所示:其中s^2的懲罰因子最為敏感,AIC次之,SIC的懲罰因子敏感度最低。
AICAIC的延伸應用
1. AICc
AICc首次由Sugiura
[2]
提出,在樣本小的情況下,AIC轉變為AICc,公式如圖3:
McQuarrie 和 Tsai提出的另一個緊密相關指標為AICu:
2. QAIC(Quasi-AIC)
QAIC公式表達為:
其中:c是方差膨脹因素。
因此QAIC可以調整過度離散(或者缺乏擬合)。
另外,在小樣本情況下, QAIC表示為:
- 參考資料
-
- 1. Akaike, Hirotsugu.A new look at the statistical model identification:IEEE Transactions on Automatic Control,1974
- 2. Sugiura, N. .Further analysis of the data by Akaike's information criterion and the finite corrections:Communications in Statistics - Theory and Methods,1978
- 3. Burnham, K. P., and D. R. Anderson.Model Selection and Multimodel Inference: A Practical-Theoretic Approach, 2nd ed:Springer-Verlag,2002
- 4. McQuarrie, A. D. R., and Tsai, C.-L..Regression and Time Series Model Selection:World Scientific,1998