【NLP学习其二】什么是隐马尔可夫模型HMM?

概念

隐马尔可夫模型描述的是两个时序序列联合分布p(x,y)的概率模型，其中包含了两个序列：

x序列外界可见(外界指的是观测者)，称为观测序列(obsevation seuence)

y序列外界不可见，称为状态序列( state sequence)

如观测x为单词，状态y为词性，我们需要根据单词序列去猜测它们的词性。

隐马尔可夫模型之所以称为“隐”，是因为从外界来看，状态序列(例如词性)隐藏不可见，是待求的因变量。

从这个角度来讲，人们也称状态为隐状态(hidden state )，而称观测为显状态( visible state )。

为什么叫“马尔可夫模型”？是因为它满足马尔可夫假设。

马尔可夫假设认为：每件事情的发生概率仅与前一件事有关

当有多个满足上述假设的事件形成串联时，就构成了马尔可夫链，在NLP的领域中就称为一个二元语法模型

注：

一元语法模型：
我考上大学只与考试当天的我有关，与前一天模拟考的我没有半毛钱关系

二元语法模型：
我考上大学与我前一天模拟考的我有关

书接上回

我们先做一些约定：

Qhidden为所有隐藏状态种类的合集，有N种

例如我们之前定义了七个标签（https://www.cnblogs.com/DAYceng/p/14923065.html），那么N = 7

Vobs表示可观测的序列的合集（这里由汉字组成)

其中，V为单个的字，M为已知字的个数

有一串自然语言文本O，共T个字，则观测合集可表示为

而观测到的实体对应的实体标记就是隐状态合集I

I与O一一对应并且长度一致

注：常称T为时刻，如上式中共有T个时刻（T个字）

HMM的假设

图片出处：https://github.com/aespresso/a_journey_into_math_of_ml

假设一:

当前第 $t$ 个隐状态(实体标签)只跟前一时刻的 $t-1$ 隐状态(实体标签)有关，连续多个状态构成隐马尔可夫链I（隐状态合集），与除此之外的其他隐状态无关。
例如，上图中：蓝色的部分指的是 $i_t$ 只与 $i_{t-1}$ 有关，而与蓝色区域之外的所有内容都无关，而 $P(i_{t}|i_{t-1})$ 指的是隐状态 $i$ 从 $t-1$ 时刻转向t时刻的概率。

假设二：

观测独立的假设，我们上面说过，HMM模型中是由隐状态序列(实体标记)生成可观测状态(可读文本)的过程，观测独立假设是指在任意时刻观测 $o_t$ 只依赖于当前时刻的隐状态i,与其他时刻的隐状态无关。
例如上图中：粉红色的部分指的是 $i_{t+1}$ 只与 $o_{t+1}$ 有关，跟粉红色区域之外的所有内容都无关。