HMM&CRF
1. HMM模型是对转移概率和表现概率直接建模,统计共现概率。
2. MEMM模型是对转移概率和表现概率建立联合概率,统计时统计的是条件概率,但MEMM容易陷入局部最优,是因为MEMM只在局部做归一化。
3. CRF模型中,统计了全局概率,同时在做归一化时,考虑了数据在全局的分布,而不是仅仅在局部归一化,这样就解决了MEMM中的标记偏置(label bias)的问题。
1.HMM
-
,状态转移概率矩阵,这个就是其中一个概率分布。他是个矩阵,
(N为隐藏状态集元素个数),其中
即第i个隐状态节点,即所谓的状态转移嘛。
-
,观测概率矩阵,即由状态估计观测的概率,这个就是另一个概率分布。他是个矩阵,
(N为隐藏状态集元素个数,M为观测集元素个数),其中
即第i个观测节点,
即第i个隐状态节点,即所谓的观测概率(发射概率)嘛。
-
,在第一个隐状态节点
,我第一个隐状态节点的隐状态是
中的每一个的概率分别是多少,然后
就是其概率分布
2. HEMM 最大熵马尔可夫模型
省略
3.CRF模型
-
CRF是一个判别式模型 ,这点和HMM有很大的区别,即对于一个无向图,CRF是对\(P(Y|X)\)建模:
-
CRF线性链认为词性标注问题中每个词之间是无向图模型,即每个词与全局的词有关,而不是像
HMM
那样认为每个词只与前一个词相关。 -
CRF的关键概念在于
- 判别式模型
- 特征函数--包括转移特征和状态特征