随机过程之离散参数马氏链

前言

随机过程讨论的是随机变量随时间的变化情况，根据统计时间节点的连续与否和随机变量变化的连续与否可分为以下四种类型：
· 连续型随机过程：变量连续、时间节点连续
· 离散型随机过程：变量离散、时间节点连续
· 连续随机序列：变量连续、时间节点离散
· 离散随机序列：变量离散、时间节点离散

本篇文章里介绍的是状态离散、时间节点离散的随机过程的一种。Markov链，简称马氏链。
马氏链的代表性质是马氏性，简单来讲就是在知道现在的前提下，将来与过去无关。这说明现在就已经保留了足够的信息量可以用来影响未来，而不需要过去的陈旧的信息（有些许量变质变的味道）

马氏链的描述

描述马氏链时一般使用转移概率矩阵来刻画状态之间的转移关系，行列排开矩阵表示状态\(i\)到\(j\)。当然，简单的转化关系绘制状态转移图可能会更加鲜明。这些矩阵元素表示的是状态转移性质，自然有的会变，有的不会变。我们这里讨论的是概率不随时间变化的情况。当马氏链状态总数有限时，状态转移概率矩阵阶数有限。
常用马氏链描述的过程有粒子在直线上的随机游动【左右原地不动带有吸收壁带有反射壁等】等
在针对一些过程构建模型时，首先要找到随时间不同的随机变量。然后找到状态之间的转移规律，根据规律可以得到概率转移矩阵。推导的时候注意对问题的理解，选择合适的方式去表达。

马氏链的判定及性质

一种判定方法是直接用马氏性，另一种见下图。其主要原理在于引入另一个独立同分布的随机变量一起决定下一状态是什么。引入的这个随机变量与我们要讨论的随机变量是相互独立的，那么转移概率就由这个函数关系唯一确定。
时齐马氏链的一个性质是其完全由初始状态的概率分布和转移规律决定。

CK方程

上述两个部分主要阐述的是异步转移概率，CK方程主要刻画的是\(n\)步转移概率。主要思想在于像树一样层层展开，就是矩阵乘法。
在推导过程中可以证明\(P^{(n)}=PP^{(n-1)}\)入手，类似数学归纳。

马氏链的状态分类

阐述了所有状态之间的关系，主要是为了找状态的一些性质。出发了会不会回来？几步就有可能回来，可能性是多少，是否存在周期？走\(n\)步到达某一指定位置的概率是多少？
根据这些问题就衍生了周期、首达时间、首达概率的概念。
周期：这里的周期和我们平时理解的几次一循环不太一样，主要计算方式是从某一点返回到该点所需步数的最小公约数\(d\)。\(d>1\)则称状态\(i\)有周期，否则称状态\(i\)为非周期的。这里的周期可以理解为经过周期的某个整数倍后总会回到原来的状态。
首达时间：从某状态出发第一次到达某个状态花费的步数。

首达概率：顾名思义在指定步数的情况下是第一次到达这个状态的概率，详细定义如下：

令\(f_{ij}=\sum_{n=1}f_{ij}^{(n)}\)，表示的是从状态\(i\)出发经过有限步终于到达状态\(j\)的概率。
\(f_{ii} = 1\)，状态\(i\)常返；\(f_{ii} < 1\)，状态\(i\)非常返；【刻画的是到底有没有概率一定能回来】

由此又衍生了平均返回时间的概念。
在状态\(i\)为常返的前提下，如果平均返回时间有限称为正常返【有生之年真的能看到它回来】，趋于无穷则认为是零常返【告诉我要回来，但迟迟等不到】。
非周期的正常返被称为遍历状态。