马尔可夫过程

马尔可夫过程是电子通信系统中最常见的一种随机过程，它在信息处理、自动控制、近代物理、计算机科学以及公用事业等很多方面都有非常重要的应用

例如我们常常提到的泊松过程和维纳过程就是两种特殊的马尔可夫过程。
基本概念：
马尔可夫过程是一种无后效的随机过程。所谓无后效性是指，当过程在时刻tm所处的状态为已知时，过程在大于tm的时刻所处状态的概率特性只与过程tm时刻所处的状态有关，而与过程在tm时刻以前的状态无关。称这种特性为马尔可夫性。
例如电话交换站在t时刻前来到的呼叫数X(t)(即时间[0,t]内来到的呼叫次数)是一个随机过程。已知现在tm时刻以前的呼叫次数，未来时刻t(t>tm)前来到的呼叫数只依赖于tm时刻以前的呼叫次数，而[tm,t]内来到的呼叫数与tm时刻以前的呼叫次数相互独立。因此，X(t)具有无后效性，属于一种马尔可夫过程。
马尔可夫过程按照参数集和状态空间(值域)的情况一般可分为四大类：
时间离散、状态连续的马尔可夫过程称为马尔可夫序列；
时间离散、状态离散的马尔可夫过程称为马尔科夫链；
时间连续、状态离散的马尔可夫过程称为可列马尔科夫过程；
还有一种时间连续、状态连续的马尔可夫过程(布朗运动、维纳过程)