複製鏈接
請複製以下鏈接發送給好友

自助法

(從給定訓練集中有放回的均勻抽樣)

鎖定
在統計學中,自助法(Bootstrap Method,Bootstrapping或自助抽樣法)是一種從給定訓練集中有放回的均勻抽樣,也就是説,每當選中一個樣本,它等可能地被再次選中並被再次添加到訓練集中。自助法由Bradley Efron於1979年在《Annals of Statistics》上發表。當樣本來自總體,能以正態分佈來描述,其抽樣分佈(Sampling Distribution)為正態分佈(The Normal Distribution);但當樣本來自的總體無法以正態分佈來描述,則以漸進分析法、自助法等來分析。採用隨機可置換抽樣(random sampling with replacement)。對於小數據集,自助法效果很好。
中文名
自助法
外文名
Bootstrap Sampling、Bootstrapping
發表時間
1979年
別    名
自助抽樣法

自助法.632自助法

最常用的一種是.632自助法,假設給定的數據集包含d個樣本。該數據集有放回地抽樣d次,產生d個樣本的訓練集。這樣原數據樣本中的某些樣本很可能在該樣本集中出現多次。沒有進入該訓練集的樣本最終形成檢驗集(測試集)。 顯然每個樣本被選中的概率是1/d,因此未被選中的概率就是(1-1/d),這樣一個樣本在訓練集中沒出現的概率就是d次都未被選中的概率,即(1-1/d)。當d趨於無窮大時,這一概率就將趨近於1/e=0.368,所以留在訓練集中的樣本大概就佔原來數據集的63.2%。 [1] 

自助法Bootstrap自助法

最常用的一種Bootstrap自助法,假設給定的數據集包含d個樣本。該數據集有放回地抽樣m次,產生m個樣本的訓練集。這樣原數據樣本中的某些樣本很可能在該樣本集中出現多次。沒有進入該訓練集的樣本最終形成檢驗集(測試集)。 顯然每個樣本被選中的概率是1/m,因此未被選中的概率就是(1-1/m),這樣一個樣本在訓練集中沒出現的概率就是m次都未被選中的概率,即(1-1/m)^m。當m趨於無窮大時,這一概率就將趨近於e^-1=0.368,所以留在訓練集中的樣本大概就佔原來數據集的63.2%。
例如:人工樣本為1,2,3;只有三個樣本,則可以從隨機變量X,分佈為P(X=k)=1/3, k=1,2,3; 這樣的經驗分佈中用計算機根據上述分佈自動產生樣本,如產生5個樣本:1 2 3 2 1;也可以是:3 3 2 1 1
自助法在數據集較小、難以有效劃分訓練集測試集時很有用;此外,自助法能從初始數據集中產生多個不同的訓練集,這對集成學習等方法有很大的好處。然而,自助法產生的數據集改變了初始數據集的分佈,這會引入估計偏差。因此,在初始數據量足夠時,留出法和交叉驗證法更常用一些。 [2] 
參考資料
  • 1.    範明/孟小峯. 數據挖掘:概念與技術. 機械工業出版社. 2012年8月: 241. ISBN 978-7-111-39140-1
  • 2.    周志華.機器學習.北京:清華大學出版社,2016:27-28