马尔可夫模型

马尔可夫性质

　　马尔可夫性质是概率论中的一个概念：当一个随机过程在给定现在状态及所有的过去状态的情况下，其未来的状态的条件概率分布依赖于当前状态，那么这个随机的过程就具有马尔可夫性质。

数学的表示形式：

X(t), t > 0是一个随机过程，那么：

P[X(t + h) = y | X(s) = x(s), s ≤ t] = P[X(t + h) = y | X(t) = x(t)], h > 0

其中：

s：过去的时间；

t：当前的时间；

t + h：未来的时间；

马尔可夫链

马尔可夫链是满足：

1. 马尔可夫性质。
2. 从t时刻到t + h时刻的状态与t的值无关，一个马尔可夫链模型可表示为(S，P，Q)，其中各元的含义如下：
   1. S：所有可能的状态组成的集合；
   2. P：[P_ij]_n×n矩阵，其中：P_ij表示在t处于状态i而在t+h处于状态j的概率、n为状态数；
   3. Q：初始概率分布；

的一种随机过程。

隐马尔可夫模型

　　隐马尔可夫模型用来描述一个含有位置参数的马尔可夫过程，其难点是从可观察的参数来确定该过程的隐含参数，然后利用这些参数来做进一步的分析。eg.

其中：

1. x：隐含状态；
2. y：可观察的输出；
3. a：转换概率；
4. b：输出概率；

隐马尔可夫模型的三个典型问题：

1. 已知模型参数，求一个给定输出的概率：forward算法；
2. 已知模型参数和输出，寻找最可能产生这一输出的隐含状态：viterbit算法；
3. 已知输出，求最可能的状态转移和输出概率：baum-welch算法和reversed viterbit算法；

另外，可以用junction tree算法来解决这三个问题。

----- -- -

END