马尔可夫链(三)

 

 

 

 

 

一：瞬态分析和稳态分析

首达概率(首中概率)

若f ii = 1 ,则称为 i 为常返的，若f ii < 1 ,则称为 i 为非常返的。

若任意的ui < 无穷大,则称长返太i 为正常返

若任意的ui = 无穷大,则称长返太i 为零常返

非周期的正常返态称为遍历状态。

证明：

        （2）

       （3）

状态转移图