隐马尔可夫模型

在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出位置变量的条件分布。

概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的使用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可大致分为两类：

第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；
第二类是使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网。

隐马尔科夫模型（Hidden Markov Model，简称HMM）是结构最简单的动态贝叶斯网，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。

隐马尔科夫模型中的变量可分为两组。第一组是状态变量 $\{y_1,y_2,...,y_n\}$ ,其中 $y_i\in\mathcal{Y}$ 表示第 $i$ 时刻的系统状态.通常假定状态变量是隐藏的,不可被观测的,因此状态变量亦称隐变量.第二组是观测变量 $\{x_1,x_2,...,x_n\}$ ,其中 $x_i\in\mathcal{X}$ 表示第 $i$ 时刻的观测值。在隐马尔科夫模型中，系统通常在多个状态 $\{s_1,s_2,...,s_N\}$ 之间转换，因此状态变量 $y_i$ 的取值范围 $\mathcal{Y}$ （称为状态空间）通常是有 $N$ 个可能取值的离散空间。观测变量 $x_i$ 可以是离散型也可以是连续型，为便于讨论，我们仅考虑离散型观测变量，并假定其取值范围 $\mathcal{X}$ 为 $\{o_1,o_2,...,o_M\}$ .

图 14.1 隐马尔可夫模型的图结构

图14.1中的箭头表示了变量间的依赖关系。在任何时刻，观测变量的取值仅依赖于状态变量，即 $x_t$ 由 $y_t$ 确定,与其他状态变量及观测变量的取值无关.同时, $t$ 时刻的状态 $y_t$ 仅依赖于 $t-1$ 时刻的状态 $y_{t-1}$ ,与其余 $n-2$ 个状态无关.这就是所谓的"马尔可夫链"(Markov chain)，即：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为

$P(x_1,y_1,\dots,x_n,y_n)=p(y_1)P(x_1|y_1)\prod_{i=2}^nP(y_i|y_{i-1})P(x_i|y_i)$

除了结构信息，欲确定一个隐马尔可夫模型还需以下三组参数：

状态转移概率:模型在各个状态间转换的概率,通常记为矩阵 $A=[a_{ij}]_{N\times{N}}$ ,其中

$a_{ij}=P(y_{t+1}=s_j|y_t=s_i),\qquad1\leqslant{i,j}\leqslant{N},$

表示在任意时刻 $t$ ,若状态为 $s_i$ ,则在下一时刻状态为 $s_j$ 的概率.

输出观测概率:模型根据当前状态获得各个观测值的概率,通常记为矩阵 $B=[b_{ij}]_{N\times{M}}$ ,其中

$b_{ij}=P(x_t=o_j|y_t=s_i),\qquad1\leqslant{i}\leqslant{N},1\leqslant{j}\leqslant{M}$

表示在任意时刻 $t$ ,若状态为 $s_i$ ,则观测值 $o_j$ 被获取的概率.

初始状态概率:模型在初始时刻各状态出现的概率,通常记为 $\pi=(\pi_1,\pi_2,\dots,\pi_N)$ ,其中

$\pi_i=P(y_1=s_i),\qquad1\leqslant{i}\leqslant{N}$

表示模型的初始状态为 $s_i$ 的概率。

通过指定状态空间 $\mathcal{Y}$ 、观测空间 $\mathcal{X}$ 和上述三组参数，就能确定一个隐马尔可夫模型，通常用其参数 $\lambda=[A,B,\pi]$ 来指代. 给定隐马尔可夫模型 $\bold{\lambda}$ ,它按如下过程产生观测序列 $\{x_1,x_2,\dots,x_n\}$ :

设置 $t=1$ ,并根据初始状态概率 $\pi$ 选择初始状态 $y_1$ ;
根据状态 $y_t$ 和输出观测概率 $\bm{B}$ 选择观测变量取值 $x_t$ ;
根据状态 $y_t$ 和状态转移矩阵 $A$ 转移模型状态，即确定 $y_{t+1}$ ;
若 $t<n$ ,设置 $t=t+1$ ,并转到第2步,否则停止.

其中 $y_t\in\{s_1,s_2,\dots,s_N\}$ 和 $x_t\in\{o_1,o_2,\dots,o_M\}$ 分别为第 $t$ 时刻的状态和观测值.

posted on 2016-10-10 11:13 pinweihelai 阅读(584) 评论(0) 编辑收藏举报