【NLP】基于机器学习角度谈谈CRF（三）

基于机器学习角度谈谈CRF

作者：白宁超

2016年8月3日08:39:14

【摘要】：条件随机场用于序列标注，数据分割等自然语言处理中，表现出很好的效果。在中文分词、中文人名识别和歧义消解等任务中都有应用。本文源于笔者做语句识别序列标注过程中，对条件随机场的了解，逐步研究基于自然语言处理方面的应用。成文主要源于自然语言处理、机器学习、统计学习方法和部分网上资料对CRF介绍的相关的相关，最后进行大量研究整理汇总成体系知识。文章布局如下：第一节介绍CRF相关的基础统计知识；第二节介绍基于自然语言角度的CRF介绍；第三节基于机器学习角度对CRF介绍，第四节基于统计学习角度对相关知识介绍；第五节对统计学习深度介绍CRF，可以作为了解内容。（本文原创，转载请注明出处：基于机器学习角度谈谈CRF。)

目录

---

【自然语言处理：漫步条件随机场系列文章（一）】：前戏：一起走进条件随机场

【自然语言处理：漫步条件随机场系列文章（二）】：基于自然语言处理角度谈谈CRF

【自然语言处理：漫步条件随机场系列文章（三）】：基于机器学习角度谈谈CRF

【自然语言处理：漫步条件随机场系列文章（四）】：基于统计学习角度谈谈CRF

【自然语言处理：漫步条件随机场系列文章（五）】：条件随机场知识扩展

1 条件随机场（可以看作给定观察值的马尔科随机场）

---

CRF是一种判别式无向图模型

CRF试图对多个变量在给定观测值后的条件概率进行建模，具体来说，若令为观察序列，为与之对应的标记序列，则CRF的目标是构建条件概率模型P(Y|X)。

注意：标记变量y是结构型变量，如在自然语言处理的句子标注任务中，观测数据为句子，标记为相应的词性序列，具有线性序列结构，在语法分析中，输出标记是语法树，具有树形结构。

令G=<V，E>表示结点与标记变量y中元素一一对应的无向图，表示与结点v对应标记变量，n（v）表示结点v的领结点，若图G的每一个变量 都满足马尔科夫性，即

 ，则（y，x）构成一个CRF。

上面形式化在第二章已经通过实例解析介绍过。

2 链式条件随机场

---

如上面句子标注，因为现象应用中，对标记序列建模时，常有链式结构（具体链式结构前面有介绍）

与马尔科夫随机场定义联合概率概率的方式类似，CRF使用势函数和图结构上的团来定义条件概率P(y|x)给定观察序列X，所谓团即单个标记变量{}以及相邻标记变量选择合适的势函数，即形如：

的条件概率定义，其中与Q对应的势函数，为规范因子，实际中，往往Z不需要获得精确值。

在CRF中，通过选用势函数并引入特征函数，条件概率定义如下：

如上参数在第二章有详细讲解。

特征函数：

句子标注为例的转移特征函数

表示第i个观察值为“爱”时，相对的标记分别是B，I，其状态特征函数如下：

 

表示观察值x为单字“爱”时，它对应的标注很可能为I

3 参考文献

---

【1】 数学之美 吴军 著

【2】 机器学习  周志华 著

【3】 统计自然语言处理 宗成庆 著（第二版）

【4】 统计学习方法（191---208） 李航

【5】 知乎 网络资源

4 自然语言相关系列文章

---

【自然语言处理】：【NLP】揭秘马尔可夫模型神秘面纱系列文章

【自然语言处理】：【NLP】大数据之行，始于足下：谈谈语料库知多少

【自然语言处理】：【NLP】蓦然回首：谈谈学习模型的评估系列文章

【自然语言处理】：【NLP】快速了解什么是自然语言处理

【自然语言处理】：【NLP】自然语言处理在现实生活中运用

声明：关于此文各个篇章，本人采取梳理扼要，顺畅通明的写作手法。系统阅读相关书目和资料总结梳理而成，旨在技术分享，知识沉淀。在此感谢原著无私的将其汇聚成书，才得以引荐学习之用。其次，本人水平有限，权作知识理解积累之用，难免主观理解不当，造成读者不便，基于此类情况，望读者留言反馈，便于及时更正。本文原创，转载请注明出处：基于机器学习角度谈谈CRF。