马尔科夫链

马尔科夫链主要分为两种，一种是显马尔科夫链（VMM，visible markov model），另一种是隐马尔科夫链（HMM，hidden markov model），这两种马尔科夫链的主要区别是，HMM的状态是可以观测到的（例如天气），而HMM的状态是不能观测到的（例如人的睡眠状态）。

下面分别简单介绍一下这两种马尔科夫链

1、VMM 显马尔科夫模型

VMM只有一个状态转移矩阵，表示从一种状态转移到另一种状态的概率

             

这是一个显马尔科夫模型的状态图，其状态转移矩阵A表示为：

           是一个N*N的矩阵

 表示初始状态为Si 的概率。

 2、HMM隐马尔科夫模型

由于HMM的状态是不能观测的，所以HMM除了有一个状态转移矩阵外，还有一个观测矩阵，观测矩阵中的数值表示在一个状态下，产生一个观测值的概率，所以这是一个条件概率：

状态转移矩阵A同上，观测矩阵B表示为：

          

其中，， 表示初始状态为Si 的概率。

所以在隐马尔科夫模型中需要确定的参数主要有3个：A,B,。

隐马尔科夫模型的应用主要在以下3个方面：

①分类问题：已知参数A，B，，求模型产生确定观测序列的概率。主要用于分类问题。假设有n个类，每一个类的参数A，B，均已知，求解观测值属于每个类的概率，以概率值的大小作为分类的依据。

②路径选择问题：已知参数A，B，，以及观测序列，求产生这一确定观测序列的状态次序：。产生这一确定观测序列的路径可能不止一个，以概率最大为评价标准。

③参数辨识问题。给定结构和供训练的数据集，来估计最优参数。