馬爾可夫分析

1馬爾可夫過程及馬爾可夫鏈 ^[3] 

定義1設隨機序列{X(n) ,n=0, 1, 2, …}的離散狀態空間為E, 若對於任意m個非負整數n1,n2, …,nm(0≤n1<n2<…<nm) 和任意自然數k, 以及任意i1,i2, …,im,j∈E滿足 ^[3] 

P{X(nm+k) =j|X(n1) =i1,X(n2) =i2, …,X(nm) =im}=P{X(nm+k) =j|X(nm) =im} (1) ^[3] 

則稱X(n) ,n=0, 1, 2, …}為馬爾可夫鏈。 ^[3] 

在式 (1) 中, 如果nm表示現在時刻,n1,n2, …,nm-1表示過去時刻,nm+k表示將來時刻, 那麼此式表明過程在將來nm+k時刻處於狀態j僅依賴於現在nm時刻的狀態im, 而與過去m-1個時刻n1,n2, …,nm-1所處的狀態無關, 該特性稱為馬爾可夫性或無後效性。式 (1) 給出了無後效性的表達式。 ^[3] 

2齊次馬爾可夫鏈和k步轉移概率 ^[3] 

P{X(nm+k) =j|X(nm) =im},k≥1稱之為馬爾可夫鏈在n時刻的k步轉移概率, 記為Pij(n,n+k) 。轉移概率表示已知n時刻處於狀態i, 經k個單位時間後處於狀態j的概率。若轉移概率Pij(n,n+k) 是不依賴於n的馬爾科夫鏈, 則稱為齊次馬爾可夫鏈。這種狀態只與轉移出髮狀態i、轉移步數k及轉移到達狀態j有關, 而與n無關。此時,k步轉移概率可記為Pij(k) , 即 ^[3] 

Pij(k) =Pij(n,n+k) =P{X(n+k) =j|X(n) =i},k>0 (2) ^[3] 

式中,0≤Ρij(k)≤1,∑j∈EΡij(k)=10≤Ρij(k)≤1,∑j∈EΡij(k)=1。 ^[3] 

3多步轉移概率的確定 ^[3] 

當k=1時,Pij(1) 稱為一步轉移概率, 簡記為Pij。所有一步轉移概率Pij組成的矩陣P(1) 稱為它在時刻m的一步轉移矩陣 (i,j∈E) 。通常可簡寫P(1) 為P。所有n步轉移概率為Pij(n) 。組成的矩陣P(n) 稱為馬爾科夫鏈的n步轉移概率矩陣。利用C-K方程可得遞推關係 ^[3] 

P(n) =PP(n-1) =P(n-1)P(3) ^[3] 

從而P(n) =Pn(4) ^[3] 

定義1:設有隨機過程{Xn, n∈T}, 其時間集合T={ (0, 1, 2, ...) }, 狀態空間E={0, 1, 2, ...}, 即Xn是時間離散狀態的, 若對任意的整數n∈T及任意的i0, i1, ..., in (10) 1∈E, 條件概率滿足: ^[2] 

過程的馬爾可夫性, 即無後效性; ^[2] 

定義2:稱條件概率 ^[2] 

為轉移概率。若對任意的i, j∈E, 馬爾可夫鏈{Xn, n∈T}的轉移概率與m無關, 則稱馬氏鏈是齊次的, 記為Pij。

定義3:系統在時刻m從狀態i出發, 經過n步後處於狀態j的概率 ^[2] 

為齊次馬爾可夫鏈{Xn, n∈T}的n步轉移概率。 ^[2] 

定義4:齊次馬爾可夫鏈的所有一步轉移概率組成的矩陣P1 (28) (7) P ij (8)稱為馬爾可夫鏈的n步轉移概率矩陣, ^[2] 

設{Xn, n∈T}為齊次馬爾可夫鏈, ^[2] 

且若它的狀態空間E是有限的, 對一切i, j∈E存在不依賴於π（j）的常數, 使得 ^[2] 

則稱馬氏鏈具有遍歷性, 且π（j）是方程組π（j）=

π（i）Pij, 滿足條件π（j）>0,

π（j）=1的唯一解, 即經歷一段時間之後, 系統達到平穩狀態。 ^[2] 

馬爾可夫(Markov)模型是一種廣泛應用在語音識別、自然語言處理等領域的統計模型。在馬爾可夫模型中,若給定當前時刻信息,則過去的狀態(指當前時刻以前的狀態)對於預測將來的狀態(指當前時刻後的狀態)是無關的。另外一種比較簡明的闡述是,過程中某一時刻的狀態只依賴於其前n個狀態,n取不同的值代表不同階數的馬爾可夫過程。n=1時的馬爾可夫過程是一階馬爾可夫模型,即某一時刻的狀態只依賴於其前一個狀態。 ^[4] 

馬爾可夫假定各次轉移過程中的轉移概率無後效性（見馬爾可夫決策過程），用以對物理學中的布朗運動作出數學描述。1923年由美國數學家N.維納提出連續軌道的馬爾可夫過程的嚴格數學結構。30～40年代由A.H.柯爾莫戈羅夫、W.費勒、W.德布林、P.萊維和J.L.杜布等人建立了馬爾可夫過程的一般理論，並把時間序列轉移概率的鏈式稱為馬爾可夫鏈。馬爾可夫分析已成為市場預測的有效工具，用來預測顧客的購買行為和商品的市場佔有率等。 ^[5] 

此外在企業中，馬爾可夫分析除了應用於市場預測外，還可用於以下 6個方面。①確定企業勞動力的需求：如考慮到離職、退休和死亡等因素，為了從企業內外進行補充，可用馬爾可夫分析來確定勞動力的需求。②引進新產品：馬爾可夫分析在確定用户對某種牌號產品的信任是如何轉向另一種新產品時，為企業開發新產品提供有用信息。③選擇廣告計劃：通過對未來市場佔有率的估計來評價和選擇幾種廣告計劃的優劣。④預測隨機服務系統的工作負荷。⑤預測最優維修方案。⑥產品可靠性預測。 ^[5]