马尔科夫链简介

马尔科夫链

第一部分 概念
1.概率向量：一个具有非负分量且数值之和为1的向量。
2.随机矩阵：各列向量均为随机向量的方阵。
3.马尔科夫链：由一个概率向量序列X0,X1,X2,...,Xn和一个随机矩阵P组成，且满足X1=PX0,X2=PX1,...,Xn=PXn-1

第二部分 例题
例1.
     |0.5 0.2 0.3|      |1|
令 P=|0.3 0.8 0.3|   X0=|0|
     |0.2 0   0.4| ，   |0| ,求 X1,X2,...,X15

答：
   计算略。
说明：
   X15≈[0.3 0.6 0.1]T=q.并且可以发现Pq=q.
  引出另外一个概念：
   概念4.稳态向量(平衡向量)：满足Pq=q的向量q。
  并且有一个定理：
  定理一：任何一个随机矩阵有一个稳态向量，给定随机矩阵便确定了稳态向量，稳态向量与初始向量X0无关，只与随机矩阵P有关。(证明略)
例2：求P=|0.6 0.3|
         |0.4 0.7|的稳态向量q.
答：
   因为Pq=q，所以Pq-q=0，所以 (P-E)q=0.解此齐次方程组得
   X0=[3/4,1]T,因为是概率向量，所以选择更好的[3/7,4/7]T。
   可以验证Pq=q

概念4.正则随机矩阵：若某个随机矩阵的k次方(0<=k<∞)包含的数值全部是正数，则此矩阵是正则随机矩阵。
定理2.若P是一个正则随机矩阵，则P具有唯一的稳态向量q。
     推论：当k->∞时，Xk->q.
第三部分 应用：
应用题1.
    某地区的人口迁移的随机矩阵如下，在2000年是有6000人在城市，4000人在郊区，问在2001年时的人口分布，和若干年后的人口分布。
    由  城市   郊区  去
      M=|0.95  0.03| 城市
        |0.05  0.97| 郊区

答：
   1) 2001年的人口分布情况为
    |0.95 0.03| |6000| |5820|
    |0.05 0.97| |4000|=|4180|
   2)求得M的稳态向量为[0.375 0.625]T,所以从长远来看，到无穷年后，人口分布稳定在[3750 6250],即城市3750人，郊区6250人。