概率图模型（HMM和CRF）

概率图模型是一类用途来表达相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系，即“变量相关图”。

根据边的性质不同，概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向无环图或者贝叶斯网；第二类是使用无向图表示变量间的相关关系，称为无向图或马尔可夫网。

隐马尔可夫模型（HMM）是结构最简单的动态贝叶斯网，，这是一种著名的有向图模型，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。

HMM的变量可分为两组：一组是观测变量，一组是状态变量，由于观测变量是隐藏的所以称为隐马尔可夫模型。

马尔可夫链：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系，所有变量的联合概率分布为：

 

除了结构信息，欲确定一个隐马尔可夫模型还需要以下三组参数：

状态转移概率：模型在各个状态间转换的概率，通常记为矩阵A

输出观测概率：模型根据当前状态获得各个观测值的概率，通常记为矩阵B

初始状态概率：模型在初始时刻各状态出现的概率，通常记为Π

通过指定上述3种参数λ = {A，B，Π}，以及状态空间、观测空间就可以确定一个隐马尔可夫模型。

条件随机场（CRF）是一种判别式无向图模型。生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模。具体来说，若令X={x1,x2,...xn}为观测序列，y={y1,y2,...,yn}为标记序列，则条件随机场的目标式构建条件概率模型P（y|x）。

与马尔可夫随机场定义联合概率的方式类似，条件随机场使用势函数和图结构上的团来定义条件概率P(y|x)

HMM和CRF的区别

1.一个式生成式模型，一个是判别式模型

2.一个式联合概率分布，一个式条件概率

3.一个是有向图，参数有三种，用马尔可夫假设；另一个无向图，通过状态函数和状态转移特征函数定义条件概率