大數定律

我們知道，大數定律研究的是隨機現象統計規律性的一類定理，當我們大量重複某一相同的實驗的時候，其最後的實驗結果可能會穩定在某一數值附近。就像拋硬幣一樣，當我們不斷地拋，拋個上千次，甚至上萬次，我們會發現，正面或者反面向上的次數都會接近一半。除了拋硬幣，現實中還有許許多多這樣的例子，像擲骰子，最著名的實驗就是蒲豐投針實驗。這些實驗都像我們傳達了一個共同的信息，那就是大量重複實驗最終的結果都會比較穩定。那穩定性到底是什麼？怎樣去用數學語言把它表達出來？這其中會不會有某種規律性？是必然的還是偶然的？

這一系列問題其實就是大數定律要研究的問題。很早的時候，人們其實就發現了這一規律性現象，也有不少的數學家對這一現象進行了研究，這其中就包括伯努利（後來人們為了紀念他，都認為他是第一個研究這一問題的人，其實在他之前也早有數學家研究過）。伯努利在1713年提出了一個極限定理，當時這個定理還沒有名稱，後來人們稱這個定理為伯努利大數定律。因此概率論歷史上第一個有關大數定律的極限定理是屬於伯努利的，它是概率論和數理統計學的基本定律，屬於弱大數定律的範疇。

當大量重複某一實驗時，最後的頻率無限接近事件概率。而伯努利成功地通過數學語言將現實生活中這種現象表達出來，賦予其確切的數學含義。他讓人們對於這一類問題有了新的認識，有了更深刻的理解，為後來的人們研究大數定律問題指明瞭方向，起到了引領作用，其為大數定律的發展奠定了基礎。除了伯努利之外，還有許許多多的數學家為大數定律的發展做出了重要的貢獻，有的甚至花了畢生的心血，像德莫佛—拉普拉斯，李雅普諾夫，林德伯格，費勒，切比雪夫，辛欽等等。這些人對於大數定律乃至概率論的進步所起的作用都是不可估量的。

1733年，德莫佛—拉普拉斯經過推理證明，得出了二項分佈的極限分佈是正態分佈的結論，後來他又在原來的基礎上做了改進，證明了不止二項分佈滿足這個條件，其他任何分佈都是可以的，為中心極限定理的發展做出了偉大的貢獻。在這之後大數定律的發展出現了停滯。直到20世紀，李雅普諾夫又在拉普拉斯定理的基礎上做了自己的創新，他得出了特徵函數法，將大數定律的研究延伸到函數層面，這對中心極限定理的發展有着重要的意義。到1920年，數學家們開始探討中心極限定理在什麼條件下普遍成立，這才有了後來發表的林德伯格條件和費勒條件，這些成果對中心極限定理的發展都功不可沒。

經過幾百年的發展，大數定律體系已經很完善了，也出現了更多更廣泛的大數定律，例如切比雪夫大數定律，辛欽大數定律，泊松大數定律，馬爾科夫大數定律等等。正是這些數學家們的不斷研究，大數定律才得以如此迅速發展，才得以完善。 ^[1] 

大數定律(law of large numbers)，是一種描述當試驗次數很大時所呈現的概率性質的定律。但是注意到，大數定律並不是經驗規律，而是在一些附加條件上經嚴格證明了的定理，它是一種自然規律因而通常不叫定理而是大數“定律”。而我們説的大數定理通常是經數學家證明並以數學家名字命名的大數定理，如伯努利大數定理 ^[2]  。

大數定律有若干個表現形式。這裏僅介紹高等數學概率論要求的常用的三個重要定律：

設

，....是一列相互獨立的隨機變量(或者兩兩不相關)，他們分別存在期望

和方差

。若存在常數C使得：

則對任意小的正數 ε，滿足公式一：

將該公式應用於抽樣調查，就會有如下結論：隨着樣本容量n的增加，樣本平均數將接近於總體平均數。從而為統計推斷中依據樣本平均數估計總體平均數提供了理論依據。

特別需要注意的是，切比雪夫大數定理並未要求

同分布，相較於後面介紹的伯努利大數定律和辛欽大數定律更具一般性 ^[1]  。

設μ是n次獨立試驗中事件A發生的次數，且事件A在每次試驗中發生的概率為p，則對任意正數ε，有公式二：

該定律是切比雪夫大數定律的特例，其含義是，當n足夠大時，事件A出現的頻率將幾乎接近於其發生的概率，即頻率的穩定性。

在抽樣調查中，用樣本成數去估計總體成數，其理論依據即在於此 ^[1]  。

辛欽大數定律：常用的大數定律

設

為獨立同分布的隨機變量序列，若

的數學期望存在，

，則服從大數定律:

即對任意的ε>0，有公式三 ^[1]  ：

對於一般人來説，大數定律的非嚴格表述是這樣的：

是獨立同分布隨機變量序列，期望為

，則

收斂到u。

如果説“弱大數定律”，上述收斂是指依概率收斂(in probability)，如果説“強大數定律”，上述收斂是指幾乎必然收斂(almost surely/with probability one)。

大數定律通俗一點來講，就是樣本數量很大的時候，樣本均值和真實均值充分接近。這一結論與中心極限定理一起，成為現代概率論、統計學、理論科學和社會科學的基石。（有趣的是，雖然大數定律的表述和證明都依賴現代數學知識，但其結論最早出現在微積分出現之前。而且在生活中，即使沒有微積分的知識也可以應用。例如，沒有學過微積分的學生也可以輕鬆利用excel或計算器計算樣本均值等統計量，從而應用於社會科學。）

最早的大數定律的表述可以追溯到公元1500年左右的意大利數學家Cardano。1713年，著名數學家James (Jacob) Bernouli正式提出並證明了最初的大數定律。不過當時現代概率論還沒有建立起來，測度論、實分析的工具還沒有出現，因此當時的大數定律是以“獨立事件的概率”作為對象的。後來，歷代數學家如Poisson（“大數定律”的名字來自於他）、Chebyshev、Markov、Khinchin（“強大數定律”的名字來自於他）、Borel、Cantelli等都對大數定律的發展做出了貢獻。直到1930年，現代概率論奠基人、數學大師Kolmogorov才真正證明了最後的強大數定律。

下面均假設

是獨立同分布隨機變量序列，數學期望為u。獨立同分布隨機變量和的大數定律常有的表現形式有以下幾種 ^[2]  。

(1) 帶方差的弱大數定律：若

小於無窮，則

依概率收斂到0。

證明方法：Chebyshev不等式即可得到。這個證明是Chebyshev給出的。

(2) 帶均值的弱大數定律：若u存在，則

依概率收斂到0。

證明方法：用Taylor展開特徵函數，證明其收斂到常數，得到依分佈收斂，然後再用依分佈收斂到常數等價於依概率收斂 ^[2]  。

(3) 精確弱大數定律：若xP(|X|>x) 當x趨於無窮時收斂到0，則

依概率收斂到0，其中

。（在這個定理裏，不需要u存在。）

證明方法：需要用到截斷隨機變量

. 然後要用的三角陣列的依概率收斂定理和Fubini定理分析積分變換。

(4) 帶4階矩的強大數定律：若

小於無窮，則

幾乎必然收斂到0.

證明方法：與(1)類似，先用Chebyshev不等式。然後因為4階矩的存在，得到

對任意常數t的收斂速度足夠快，滿足Borel-Cantelli的要求，用Borel-Cantelli引理得到大數定律。

(5) 帶方差的強大數定律：若

小於無窮，則

幾乎必然收斂到0.

證明方法：用Kolgoromov三級數定理和Kronecker定理。

(6) 精確強大數定律：若u存在，則

幾乎必然收斂到0.

證明方法：這個大數定律的證明確實有幾種不同的方法。最早的證明是由數學大師Kolmogorov給出的。Durrett (2010)的書上用的是Etemadi (1981)的方法，需要截斷X，用到現代概率論的知識如Borel-Cantelli引理、Kolmogorov三級數定理、Fubini定理等。（感謝讀者指出，Durrett的書在倒向鞅一章中給出了大數定律的倒向鞅方法證明，只需要用到倒向鞅的知識和Hewitt-Savage 0-1律，不過這也是現代概率論的知識。）

此外，還有很多不同的大數定律，不同分佈的，不獨立的序列等。定律也不一定是關於隨機變量的，也可以是關於隨機函數的，甚至隨機集合的等等。以數學家命名的也有Khinchin大數定律(不獨立序列的強大數定律)、Chebyshev大數定律(弱大數定律(1))、Poisson大數定律(不同概率的隨機事件序列的大數定律)、Bernoulli大數定律(隨機事件的大數定律)、Kolmogorov大數定律(強大數定律(6))等等……

以上(1-6)是常見的獨立同分布序列的大數定律。其中，(3)和(6)是最嚴格也是最精妙的結果，證明所涉及的高等概率論知識也最多。它們成立的條件不僅是充分條件，也是必要條件，因此它們算是完結了大數定律的發展。大數定律的發展符合數學的一般規律：想證明某一結論，條件越弱（弱大數定律：2階矩條件->1階矩條件->沒矩條件；強大數定律：4階矩條件→2階矩條件→1階矩條件），證明也就變得越難。

雖然只有(3)和(6)是最精確的結果，但是必須認識到，數學的發展是一個循序漸進的過程，如果沒有前面那些更強條件下的定理，也無法得到最後的大數定律。

從最開始的自然界觀察到大數定律的存在，到最後證明最終形式，歷時數百年，現代概率論也在這個過程中建立起來。此外，雖然(3)和(6)比前面的(1)和(5)強很多，但是(1)和(5)的條件僅僅是2階矩（或方差）的存在，因此他們在幾百年間早就被廣泛使用，對於一般的社會科學問題、統計問題等已經足足夠用了。

總之，大數定律包含概率論裏核心的知識。“大數定律的四種證法”儘管表述模糊，原意也充滿調侃，但並不是真如《孔乙己》裏"回字四種寫法"所暗示的那樣迂腐或毫無價值。作為概率或統計專業的研究生，弄懂這些定理表述的區別和證明方法的區別和聯繫，瞭解前代數學家的工作，對於深刻理解現代概率論是很有好處的。當然，任何人也不應去死記硬背這些證法，只要能理解、弄清其中微妙即可 ^[2]  。

例如，在重複投擲一枚硬幣的隨機試驗中，觀測投擲了n次硬幣中出現正面的次數。不同的n次試驗，出現正面的頻率（出現正面次數與n之比）可能不同，但當試驗的次數n越來越大時，出現正面的頻率將大體上逐漸接近於1/2。又如稱量某一物體的重量，假如衡器不存在系統偏差，由於衡器的精度等各種因素的影響，對同一物體重複稱量多次，可能得到多個不同的重量數值，但它們的算術平均值一般來説將隨稱量次數的增加而逐漸接近於物體的真實重量。

幾乎處處收斂與依概率收斂不同。生活例子：開始上課了，慢慢地大家都安靜下來，這是幾乎處處收斂。絕大多數同學都安靜下來，但每一個人都在不同的時間不安靜，這是依概率收斂 ^[1]  。

還有大數定律在保險業應用也十分廣泛。大數定律又稱大數法則。人們在長期的實踐中發現，在隨機現象的大量重複中往往出現幾乎必然的規律，即大數法則。此法則的意義是：風險單位數量愈多，實際損失的結果會愈接近從無限單位數量得出的預期損失可能的結果。據此，保險人就可以比較精確的預測危險，合理的釐定保險費率，使在保險期限內收取的保險費和損失賠償及其它費用開支相平衡。大數法則是近代保險業賴以建立的數理基礎。保險公司正是利用在個別情形下存在的不確定性將在大數中消失的這種規則性，來分析承保標的發生損失的相對穩定性。按照大數法則，保險公司承保的每類標的數目必須足夠大，否則，缺少一定的數量基礎，就不能產生所需要的數量規律。但是，任何一家保險公司都有它的侷限性，即承保的具有同一風險性質的單位是有限的，這就需要通過再保險來擴大風險單位及風險分散面 ^[2]  。