理解马尔科夫过程
随机变量
- 通俗地讲，是指随机事件的数量表现。
- 从变量取值的不同可以分为离散型随机变量和连续型随机变量。
· 离散型：变量取值只能取离散型的自然数。
· 连续型：变量可以在某个区间内取任一实数（变量的取值可以是连续的）。
· 参考链接：
- 离散型随机变量与连续型随机变量的区别与特点~
- 随机变量（百度百科/维基百科）
随机过程
- 通俗地讲，是指随机变量的集合。
- 记为{ x ( t ) , t ∈ T }。
- x ( t ) 表示在同一状态空间E中取值的随机变量。 E 可以为可数多个离散性状态，也可以取任意连续型状态。
- T 表示参数集。根据 T 为可数参数集/不可数参数集，{ x ( t ) , t ∈ T }为离散参数/连续参数的随机过程。
- 随机序列： T 为可数集的随机过程。
- 随机过程可以表示一个系统的特征（系统的变化过程）。
马尔科夫过程（马氏过程）
- 定义：具有无后效性的随机过程。
- 无后效性：当系统在时刻 tm 所处的状态为已知时，系统在大于 tm 的时刻 t 所处状态的概率特性只与系统在 tm 时刻所处的状态有关，而与系统在 tm 时刻以前的状态无关。
- 通俗地讲，系统在当前时刻所处的状态仅仅与系统上一时刻所处的状态有关；系统在下一时刻所处的状态仅仅与系统当前时刻所处的状态有关，与系统上一时刻所处的状态无关。
- 例题：判断是否是马氏过程？
某企业实行技术人员在生产部门、技术部门和销售部门轮换工作的制度，以便使技术人员具有多方面的实际工作经验。轮换的办法是采取随机形式，每半年轮换一次。每个技术人员下一轮所去的部门并不是机会均等的，也可能在原部门再工作一轮。
答案：不是。很容易地看出来，该轮岗过程是不具有无后效性这一特征的。
- 根据 E 和 T ，马氏过程可以分为4类：
· 时间离散，状态离散的马氏过程，又称 马尔科夫链（马氏链）。
· 时间离散，状态连续的马氏过程。时间连续，状态离散的马氏过程。时间连续，状态离散的马氏过程。
符合马氏过程的相关例子
例1、（直线上的随机游动）
一个质点在零时刻处于实数轴上的原点的位置。每隔单位时间右移或左移一个单位长度，右移的概率为p（0 < p < 1 ），左移的概率为q，其中q=1-p。记质点在第n时刻的位置为X（n），n=0，1，2，…。质点在直线上的移动是随机的，故称之为质点在直线上的随机游动。
解析：该过程是一个马氏过程。在图上画一个数轴。当 n=0 时，质点在 0 点，有 p 的概率右移一个单位，有 q 的概率左移一个单位。假设质点右移 1 单位，移到了 1 这个位置点。当 n=1 的时候，质点在 1 点，仍然是有 p 的概率右移一个单位，有 q 的概率左移一个单位。假设质点仍然右移 1 单位，移到了 2 这个位置点。当 n=2 时，质点在 2 点。接下来 n=3 时质点移动到的点的状态要么是 1 ，要么是 3，跟 n=2 时质点的位置状态有关，跟 n=1 以及 n=0 时质点的位置状态无关。符合无后效性。因此，具有无后效性的随机过程是马氏过程。（其实很简单地画个图就能讲明白了，感觉被自己说复杂了）
例2、（电话交换站的呼唤次数）
电话交换站在t时刻前来到的呼唤次数X（t）（即时间[0，t]内来到的呼唤数）是一个随机过程。已知现在tm时刻前来到的呼唤次数，未来时刻t（t> tm）前来到的呼唤数只依赖于tm时刻前来到的呼唤数，这是因为[0，t]内来到的呼唤数等于[0，tm]时间内来到的呼唤次数加上（tm，t]时间内来到的呼唤数，而（tm，t]时间内来到的呼唤数与tm以前来到的呼唤数相互独立。因此，X（t）具有无后效性，是马尔科夫过程。
例3、（布朗运动）
将一颗小花粉放在水面上，由于水分子的冲击，使它在液面上随机地运动。这种游动物理上称为布朗运动。在水面上作一平面直角坐标系，不妨取花粉的起始位置为坐标原点。考察在t时刻花粉所处位置的x坐标，记为X（t）。由于tm时刻后花粉的位置仅依赖于现在（ tm时刻）的位置，而与过去花粉的位置无关，所以花粉随机游动具有无后效性。因而，X（t）也具有无后效性，是马尔科夫过程。同样地，花粉位置的Y（t）也是马尔科夫过程。
例4、（疾病死亡模型，Fix-Neyman（1951））
考虑一个包含两个健康状态S1和S2以及两个死亡状态S3和S4（即由不同原因引起的死亡）的模型。若个体病愈，则认为它处于状态S1；若患病，则认为它处于S2，个体可以从S1和S2进入S3和S4。这是一个马尔科夫过程。
例5 （赌徒破产或带吸收壁的随机游动）
系统的状态是0到n，反映赌博者A在赌博期间拥有的钱数，当他输光或拥有钱数为n时，赌博停止；否则，他将持续赌博，每次以概率p赢得1，以概率q=1-p输掉1。这个系统也是马尔科夫过程。
例6 例5中当A输光时，将获得赞助让他继续赌下去，其余条件不变，则这个也是马尔科夫过程。
例7 （自由随机游动）
设一个球在全直线上做无限制的随机游动，它的状态为0，±1，±2，…。这个系统也是马尔科夫过程。
马尔科夫链（马氏链）
- 定义1（如下图）：
- 通俗地解释定义1：由概率论知识得，第n个状态的条件概率等于之前n-1个状态都成立时第n个状态出现的概率，由于马尔科夫性质，则简化成第n个状态的条件概率就等于第n-1个状态条件下状态n出现的概率。
- 记为 { X （ n ），n=0,1,2,… }
- 特性：已知系统的当前状态，就足以预计系统在下一步上出现某一状态的可能性，而不必考虑系统在过去曾经到达的状态，以及如何到达目前状态的过程。（进行预测）
- 马氏链在n时刻的k步转移概率：
- 转移概率表示已知 n 时刻处于状态 i ，经 k 个单位时间后系统处于状态 j 的概率。
齐次马尔科夫链
- 一步转移概率（k=1）
· 一步转移概率的特点
· 一步转移概率的矩阵形式
- 有限集下是一个N*N的方阵，N为状态空间E的数量
- 一般地说，独立同分布的离散随机变量序列 { X（n），n=0，1，2，…} 也是马尔科夫链。
