Markov
马尔可夫过程
人们在实际中常遇到具有下述特性的随机过程:在已知它目前的状态(现在)的条件下,它未来的演变(将来)不依赖于它以往的演变(过去)。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础。1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究马尔可夫过程开辟了新的道路。1954年前后,W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中,Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初,角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。目前,流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。
离散时间马尔可夫链 以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间,马尔可夫性表示为:对任意的0≤n1<<I>n2<…<<I>nln>0,i1,i2,…,il,i,j∈E,有
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/60/15/01000000000000119081541385360_s.gif)
![马尔可夫过程 马尔可夫过程](http://a0.att.hudong.com/85/10/01000000000000119081052594185_s.gif)
为了进一步研究马尔可夫链的运动进程,需要对状态进行分类。若pij>0,则称i可以直达j,记作i→j,如还有pji>0,则记作i凮j,采用这样的记号,可以用图形表示运动的进程。例如图形
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/59/15/01000000000000119081541395559_s.gif)
![马尔可夫过程 马尔可夫过程](http://a1.att.hudong.com/94/10/01000000000000119081052177794_s.gif)
连续时间马尔可夫链 设E是{0,1,…,M}或{0,1,2,…},{X,t≥0}是一族取值于E的随机变量,如果在(1)式中, 将n1,n2,…,m,n理解为实数,(1)式仍成立,则称{Xt,t≥0}为连续时间马尔可夫链。若
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/51/10/01000000000000119081052176451_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/35/15/01000000000000119081541396935_s.gif)
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/27/15/01000000000000119081541398127_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/25/15/01000000000000119081541400325_s.gif)
![马尔可夫过程 马尔可夫过程](http://a0.att.hudong.com/94/15/01000000000000119081541401494_s.gif)
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/92/15/01000000000000119081541403192_s.gif)
![马尔可夫过程 马尔可夫过程](http://a1.att.hudong.com/96/15/01000000000000119081541404296_s.gif)
![马尔可夫过程 马尔可夫过程](http://a0.att.hudong.com/96/15/01000000000000119081541405396_s.gif)
![马尔可夫过程 马尔可夫过程](http://a0.att.hudong.com/82/15/01000000000000119081541406782_s.gif)
以Q为密度矩阵的广转移矩阵称为Q广转移矩阵或 Q过程。在一定条件下,Q广转移矩阵P(t),t≥0满足向后微分方程组
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/68/15/01000000000000119081541410468_s.gif)
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/29/15/01000000000000119081541411529_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/98/15/01000000000000119081541413798_s.gif)
生灭过程 考察一个群体成员的数目, 在时间的进程中可增可减,假定在时刻t群体有i个成员,在很短的时间间隔(t,t+Δt)中,群体数目增加或减少两个或两个以上几乎是不可能的,它只可能增加一个或减少(当i>0时)一个或保持不变。而增加一个的概率为
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/53/15/01000000000000119081541416753_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/73/15/01000000000000119081541417773_s.gif)
![马尔可夫过程 马尔可夫过程](http://a0.att.hudong.com/55/15/01000000000000119081541418755_s.gif)
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/39/15/01000000000000119081541420439_s.gif)
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/69/15/01000000000000119081541421669_s.gif)
物理、化学、生物、医学等的许多实际模型都可以用生灭过程来描述,因此生灭过程有着广泛的实际应用。不仅如此,生灭过程还有重要的理论研究意义。关于生灭过程的结果已经十分丰富。当α0=0,b0>0时,只有一个生灭过程的充分必要条件是
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/05/13/01000000000000119081345320505_s.gif)
![马尔可夫过程 马尔可夫过程](http://a1.att.hudong.com/47/13/01000000000000119081345323047_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/67/15/01000000000000119081541425467_s.gif)
一般马尔可夫过程 设(E,B)为可测空间,X={X,t≥0}为一族取值于E的随机变量,如果对任意的
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/27/13/01000000000000119081345324227_s.gif)
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/40/15/01000000000000119081541426740_s.gif)
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/42/13/01000000000000119081345325942_s.gif)
(2)则称X为马尔可夫过程。
马尔可夫过程的定义还可以进一步扩充。第一,所谓"过去"可以作更广泛的理解,即(2)中由
![马尔可夫过程 马尔可夫过程](http://a1.att.hudong.com/12/15/01000000000000119081541428512_s.gif)
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/53/13/01000000000000119081345326953_s.gif)
(3)
马尔可夫过程的许多性质可以通过转移函数来表达。转移函数P(s,x,t,A)(0≤s≤t,x∈E,A∈B)是满足某些条件的四元函数,它可以理解为过程在时刻s时处在x,在时刻t 时转移到A中的条件概率。如果P(s,x,t, A)=P(t-s,x,A)只依赖于t-s,x及A,则称转移函数及相应的马尔可夫过程为齐次的。设E是d维欧几里得空间Rd,B为Rd中的波莱尔域(见概率分布)Bd,而且齐次转移函数满足下面的登金-金尼条件:对任意 ε>0,
![马尔可夫过程 马尔可夫过程](http://a2.att.hudong.com/69/13/01000000000000119081345329069_s.gif)
![马尔可夫过程 马尔可夫过程](http://a3.att.hudong.com/80/15/01000000000000119081541429980_s.gif)
强马尔可夫过程 在马尔可夫性的定义中,"现在"是指固定的时刻,但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时(见随机过程)。例如考察从圆心出发的平面上的布朗运动,如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”,在已知“现在”的条件下,“将来”与“过去”无关,这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内,不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年,才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可夫过程真正研究的对象。
扩散过程 历史上,扩散过程起源于对物理学中扩散现象的研究。虽然现在扩散过程的最一般的定义是轨道连续的马尔可夫过程,但在1931年柯尔莫哥洛夫对于扩散过程的奠基性研究中,却是按照转移函数来定义扩散过程的。直线上的马尔可夫过程,它有转移函数P(s,x,t,A),如果对任意ε>0,
(4)
(5)
(6)
设转移函数具有密度函数p(s,x,t,y),则在适当的附加条件下,p(s,x,t,y)满足方程
(7)
(8)
(9)
(10)α和b的某些假定下,可以求上述方程的转移密度解p,从而可以决定一个马尔可夫过程。然而,方程的转移密度解即使存在也未必惟一,因此还要对方程的解附加某些边界条件,以保持解的惟一性。例如,当α(t,x)=0,b(t,x)=2D (常数D>0)时的向前方程
,附加边界条件
=0的解是
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/88/15/01000000000000119081525718888_s.gif)
50年代,费勒引进了推广的二阶微分算子,用半群方法解析地研究了状态空间E =【r1,r2】的扩散过程,解决了在r1和r2 处应附加哪些边界条件,才能使向后方程(10)有一个且只有一个转移密度函数解的问题,而且找出了全部这样的边界条件。对于 E是开区间或半开半闭区间的情形也作了研究。登金、H.P.麦基恩及伊藤清等人对于扩散过程轨道的研究,阐明了费勒的结果的概率意义,从而使一维扩散过程有了较完整的理论。
多维扩散过程是和一个椭圆型偏微分算子联系在一起的,它还有许多未解决的问题,但核心问题之一是多维扩散过程的存在性和惟一性问题;借助于偏微分方程和概率论方法已经得到一些结果。有趣的是,概率论得到的结果反过来也可以解决微分方程的求解问题,例如,可以把方程的解用一个马尔可夫过程表现出来。
近年来,人们重视从轨道变化的角度来研究扩散过程。常用的方法是随机微分方程和鞅问题的求解。流形上的扩散过程理论是近十年来日益受人们重视的新领域,它是用随机微分方程研究扩散过程的必然延伸。
马尔可夫过程与位势理论 在空间中给定一个向量场,如果存在一个函数u使得它的负梯度就是给定的向量场,这个函数就是位势。高斯在研究电荷分布时提出了古典位势理论。例如,在空间R3的某物体S 中给定了一个电荷分布μ,那么空间点x处的电位势为
![马尔可夫过程 马尔可夫过程](http://a4.att.hudong.com/41/15/01000000000000119081525730141_s.gif)
马尔可夫过程的位势理论主要有三个问题:狄利克雷问题、扫问题和平衡问题。对于布朗运动,这三个问题都得到了很好的解决。
马尔可夫链模型(Markov Chain Model)