馬爾可夫過程

1.馬爾可夫性：設

為一隨機過程，E為其狀態空間，若對任意的

，任意的

，隨機變量X(t)在已知變量

之下的條件分佈函數只與

有關，而與

無關，即條件分佈函數滿足等式

即

此性質稱為馬爾可夫性，亦稱無後效性或無記憶性。 ^[2] 

若X(t)為離散型隨機變量，則馬爾可夫性亦滿足等式

2.馬爾可夫過程的數學定義

若隨機過程

滿足馬爾可夫性，則稱為馬爾可夫過程。 ^[3] 

在馬爾可夫性的定義中，"現在"是指固定的時刻，但實際問題中常需把馬爾可夫性中的“現在”這個時刻概念推廣為停時（見隨機過程）。例如考察從圓心出發的平面上的布朗運動，如果要研究首次到達圓周的時刻 τ以前的事件和以後的事件的條件獨立性，這裏τ為停時，並且認為τ是“現在”。如果把“現在”推廣為停時情形的“現在”，在已知“現在”的條件下，“將來”與“過去”無關，這種特性就叫強馬爾可夫性。具有這種性質的馬爾可夫過程叫強馬爾可夫過程。在相當一段時間內，不少人認為馬爾可夫過程必然是強馬爾可夫過程。首次提出對強馬爾可夫性需要嚴格證明的是J.L.杜布。直到1956年，才有人找到馬爾可夫過程不是強馬爾可夫過程的例子。馬爾可夫過程理論的進一步發展表明，強馬爾可夫過程才是馬爾可夫過程真正研究的對象。

1951年前後，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開闢了新的道路。1954年前後，W.費勒將半羣方法引入馬爾可夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領域。

一類重要的隨機過程，它的原始模型馬爾可夫鏈，由俄國數學家Α.Α.馬爾可夫於1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它所處的狀態的條件下，它未來的演變不依賴於它以往的演變。這種已知“現在”的條件下，“將來”與“過去”獨立的特性稱為馬爾可夫性，具有這種性質的隨機過程叫做馬爾可夫過程。荷花池中一隻青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的，當所處的位置已知時，它下一步跳往何處和它以往走過的路徑無關。如果將荷葉編號並用X0,X1,X2，…分別表示青蛙最初處的荷葉號碼及第一次、第二次、……跳躍後所處的荷葉號碼，那麼{Xn，n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。

關於馬爾可夫過程的理論研究，1931年Α.Η.柯爾莫哥洛夫發表了《概率論的解析方法》，首先將微分方程等分析方法用於這類過程，奠定了它的理論基礎。1951年前後，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎上，建立了隨機微分方程的理論，為研究馬爾可夫過程開闢了新的道路。1954年前後，W.弗勒將泛函分析中的半羣方法引入馬爾可夫過程的研究中，Ε.Б.登金（又譯鄧肯）等並賦予它概率意義（如特徵算子等）。50年代初，角谷靜夫和J.L.杜布等發現了布朗運動與偏微分方程論中狄利克雷問題的關係，後來G.A.亨特研究了相當一般的馬爾可夫過程（亨特過程）與位勢的關係。流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領域。

(1)獨立隨機過程為馬爾可夫過程。

(2)獨立增量過程為馬爾可夫過程：設{X(t)，t∈[0，+∞)}為一獨立增量過程，且有P(X(0)=x0)=1，x0為常數，則X(t)為馬爾可夫過程。

(3)泊松過程為馬爾可夫過程。

(4)維納過程為馬爾可夫過程。

(5)質點隨機遊動過程為馬爾可夫過程。 ^[3]