词性标注，实体识别，ＩＣＴＣＬＡＳ分析系统的学习

词性标注

http://www.hankcs.com/nlp/part-of-speech-tagging.html

hanNLP工具的使用

http://www.hankcs.com/nlp/hanlp.html

分词系统完整版的介绍：

http://www.cnblogs.com/riky/archive/2007/03/09/669358.html

分词系统中关于最短路径的详细介绍

http://www.xuebuyuan.com/743687.html

关于条件随机场的简单介绍

http://www.cnblogs.com/liufanping/p/4899842.html

爬虫

http://cuiqingcai.com/1319.html

一个关于条件随机场前世今生祖宗八代的PPT介绍链接

https://wenku.baidu.com/view/bbd57f82fc4ffe473268ab59.html

 

一：条件随机场的中文分词

CRF VS 词典统计分词

 

• 基于词典的分词过度依赖词典和规则库，因此对于歧义词和未登录词的识别能力较低；其优点是速度快，效率高
• CRF代表了新一代的机器学习技术分词，其基本思路是对汉字进行标注即由字构词(组词)，不仅考虑了文字词语出现的频率信息，同时考虑上下文语境，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果；其不足之处是训练周期较长，运营时计算量较大，性能不如词典妇分词

CRF VS HMM，MEMM

• 首先，CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像分词、词性标注，以及命名实体标注
• 隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择
• 最大熵隐马模型则解决了隐马的问题，可以任意选择特征，但由于其在每一节点都要进行归一化，所以只能找到局部的最优值，同时也带来了标记偏见的问题，即凡是训练语料中未出现的情况全都忽略掉
• 条件随机场则很好的解决了这一问题，他并不在每一个节点进行归一化，而是所有特征进行全局归一化，因此可以求得全局的最优值

CRF分词原理

1. CRF把分词当做字的词位分类问题，通常定义字的词位信息如下：

• 词首，常用B表示
• 词中，常用M表示
• 词尾，常用E表示
• 单子词，常用S表示

2. CRF分词的过程就是对词位标注后，将B和E之间的字，以及S单字构成分词

3. CRF分词实例：

• 原始例句：我爱北京天安门
  
• CRF标注后：我/S 爱/S 北/B 京/E 天/B 安/M 门/E
• 分词结果：我/爱/北京/天安门

 4.CRF分词工具包