HMM中的前向法（转）

隐马尔可夫模型在语音识别，手语识别，自然语言处理等方面有着重要的应用。前向法的作用是求出某个观测序列在某个特定的隐马尔可夫模型中出现的概率。关于隐马尔可夫模型以及前向法的应用维基百科上讲得十分详细，如果您对此不太了解，又对此比较感兴趣的话，非常推荐您进行阅读：

隐马尔可夫模型： http://en.wikipedia.org/wiki/Hidden_Markov_model

前向法：http://en.wikipedia.org/wiki/Forward_algorithm

 

其中，前向法给出的推导过程可能稍稍有点简略，如果您对其详细推导的过程感兴趣的话，不妨看看下面的内容：

一、模型描述

 

在本次推导中，隐马尔可夫模型描述如下：

1.X为隐含状态序列，Xt=i变量表示t时刻隐含状态为i；

2.Y可观测状态序列，Yt=yt表示t时刻可观测状态为yt；

3.A={aij}为状态转移矩阵，aij = P(Xt =j|Xt-1=i)；

4.B={bjk}为观测状态矩阵，在任意t时刻，bjk=bj(yt)=P(Yt=yt|Xt=j) ，其中yt=k；
5.Π为初始概率分布矩阵；

6.λ=(A, B,Π)表示隐马尔可夫模型参数。

 

二、前向法的推导

前向法中，αi(t)表示在λ条件下，从1~t时刻出现y1~yt观测序列，且t时刻隐藏状态Xi为i的概率：

αi(t)=P(Y1=y1, Y2=y2...,Yt=yt，Xt=i|λ )

具体的推导过程如下：

其中，关于条件概率的全概率公式和乘法公式，可以参阅浙大出版社出版的《概率论、数理统计与随机过程》中1.4节的内容，其他各类本科统计学的教材应该也有介绍吧；

关于条件独立的内容，可以参阅维基百科：http://en.wikipedia.org/wiki/Conditional_independence

 

三、求某个观测序列Y在某个特定的隐马尔可夫模型λ中出现的概率

由条件概率的全概率公式可知：

 

 

四、后验概率

后验概率计算的是：

其中贝叶斯公式同样可以参阅浙大出版社出版的《概率论、数理统计与随机过程》中1.4节的内容；

它与先验概率的区别是，同一时刻t下，所有隐藏状态的后验概率之和为1，先验概率之和不为1。