一：瞬态分析和稳态分析
首达概率(首中概率)
若f ii = 1 ,则称为 i 为常返的，若f ii < 1 ,则称为 i 为非常返的。
若任意的ui < 无穷大,则称长返太i 为正常返
若任意的ui = 无穷大,则称长返太i 为零常返
非周期的正常返态称为遍历状态。
证明：
（2）
（3）
状态转移图
