常用分词算法笔记
N-Gram这是一种依赖于上下文环境的词的概率分布的统计计算语言模型。
假定，在一个语句中第i个词出现的概率，条件依赖于它前面的N-1个词，即将一个词的上下文定义为该词前面出现的N-1个词，
这样的语言模型叫做N-gram模型（N元文法统计模型）。公式如下：
N-Gram（汉语语言模型）利用上下文中相邻词间的搭配信息，在需要把连续无空格的拼音、笔划，或代表字母或笔划的数字，转换成汉字串(即句子)时，可以计算出具有最大概率的句子，从而实现到汉字的自动转换，无需用户手动选择，避开了许多汉字对应一个相同的拼音(或笔划串，或数字串)的重码问题。
该模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。
百度搜索：采用多种分词算法结合， 一种是按照单词索引，一种是按照N-GRAM索引，http://blog.csdn.net/yaoxy/article/details/4288461
常用分词算法：（正向最大匹配，反向最大匹配，双向最大匹配，语言模型方法，最短路径算法）
一、基于理解的分词算法
1、其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。
二、基于统计的分词算法（无词典分词法或统计取词方法，基于词频的分词算法（上下文概率））
优点：
1、匹配分词切分速度快、效率高
缺点：
1、会经常抽出一些共现频度高、但并不是词的常用字组，例如"这一"、"之一"、"有的"、"我的"、"许多的"等，
2、并且对常用词的识别精度差，时空开销大。
应用：
实际应用的统计分词系统都要使用一部基本的分词词典（常用词词典）进行串匹配分词，同时使用统计方法识别一些新的词，
例子：
N-Gram模型算法。
三、基于文本匹配的算法（机械分词算法，基于词库的分词算法，基于字符串匹配的分词算法）
1、正向最大匹配法（由左到右的方向，Forward Maximum Matching method，FMM法）
例子：
a、mmseg:http://technology.chtsai.org/mmseg/
b、jcseg:http://git.oschina.net/lionsoul/jcseg
c、MMSEG4J：
d、：http://code.google.com/p/ik-analyzer/
2、逆向最大匹配法（由右到左的方向，Backward Maximum Matching method, BMM法）
3、最少切分（使每一句中切出的词数最小，最短路径算法）。
4、可以将正向最大匹配方法和逆向最大匹配方法结合起来构成双向匹配法。（Bi-direction Matching method, BM法）
按照扫描方向的不同，文本匹配分词方法可以分为正向匹配和逆向匹配两种；
按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；
按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
准确性：
机械分词算法的准确性取决于算法的准确性与词库完备性两个方面
四、其他：
扫描标志法，词性检查法
利用人工标注的语料库
附上：http://www.cnblogs.com/lvpei/archive/2010/08/04/1792409.html
中文分词基本算法主要分类
基于词典的方法、基于统计的方法、基于规则的方法、（传说中还有基于理解的-神经网络-专家系统，按下不表）
1、基于词典的方法（字符串匹配，机械分词方法）
定义:按照一定策略将待分析的汉字串与一个“大机器词典”中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。
按照扫描方向的不同：正向匹配和逆向匹配
按照长度的不同：最大匹配和最小匹配
1.1正向最大匹配思想MM
1》从左向右取待切分汉语句的m个字符作为匹配字段，m为大机器词典中最长词条个数。
2》查找大机器词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来。
若匹配不成功，则将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切分出所有词为止。
1.2逆向最大匹配算法RMM
该算法是正向最大匹配的逆向思维，匹配不成功，将匹配字段的最前一个字去掉，实验表明，逆向最大匹配算法要优于正向最大匹配算法。
1.3 双向最大匹配法(Bi-directction Matching method,BM)
双向最大匹配法是将正向最大匹配法得到的分词结果和逆向最大匹配法的到的结果进行比较，从而决定正确的分词方法。据SunM.S. 和 Benjamin K.T.（1995）的研究表明，中文中90.0％左右的句子，正向最大匹配法和逆向最大匹配法完全重合且正确，只有大概9.0％的句子两种切分方法得到的结果不一样，但其中必有一个是正确的（歧义检测成功），只有不到1.0％的句子，或者正向最大匹配法和逆向最大匹配法的切分虽重合却是错的，或者正向最大匹配法和逆向最大匹配法切分不同但两个都不对（歧义检测失败）。这正是双向最大匹配法在实用中文信息处理系统中得以广泛使用的原因所在。
1.3设立切分标志法
收集切分标志，在自动分词前处理切分标志，再用MM、RMM进行细加工。
1.4最佳匹配（OM，分正向和逆向）
对分词词典按词频大小顺序排列，并注明长度，降低时间复杂度。
优点：易于实现
缺点：匹配速度慢。对于未登录词的补充较难实现。缺乏自学习。
1.2基于统计的分词（无字典分词）
主要思想：上下文中，相邻的字同时出现的次数越多，就越可能构成一个词。因此字与字相邻出现的概率或频率能较好的反映词的可信度。
主要统计模型为：N元文法模型（N-gram）、隐马尔科夫模型(Hidden Markov Model, HMM)
1.2.1N-gram模型思想
模型基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积 .
我们给定一个词，然后猜测下一个词是什么。当我说“艳照门”这个词时，你想到下一个词是什么呢？我想大家很有可能会想到“陈冠希”，基本上不会有人会想到“陈志杰”吧。N-gram模型的主要思想就是这样的。
对于一个句子T，我们怎么算它出现的概率呢？假设T是由词序列W1,W2,W3,…Wn组成的，那么P(T)=P(W1W2W3…Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1)
但是这种方法存在两个致命的缺陷：一个缺陷是参数空间过大，不可能实用化；另外一个缺陷是数据稀疏严重。
为了解决这个问题，我们引入了马尔科夫假设：一个词的出现仅仅依赖于它前面出现的有限的一个或者几个词。
如果一个词的出现仅依赖于它前面出现的一个词，那么我们就称之为bigram。即
P(T) = P(W1W2W3…Wn)=P(W1)P(W2|W1)P(W3|W1W2)…P(Wn|W1W2…Wn-1)
≈P(W1)P(W2|W1)P(W3|W2)…P(Wn|Wn-1)
如果一个词的出现仅依赖于它前面出现的两个词，那么我们就称之为trigram。
在实践中用的最多的就是bigram和trigram了，而且效果很不错。高于四元的用的很少，因为训练它需要更庞大的语料，而且数据稀疏严重，时间复杂度高，精度却提高的不多。
设w1,w2,w3,...,wn是长度为n的字符串，规定任意词wi 只与它的前两个相关，得到三元概率模型
以此类推，N元模型就是假设当前词的出现概率只同它前面的N-1个词有关。
1.2.2隐马尔科夫模型思想
1.3基于规则的分词（基于语义）
通过模拟人对句子的理解，达到识别词的效果，基本思想是语义分析，句法分析，利用句法信息和语义信息对文本进行分词。自动推理，并完成对未登录词的补充是其优点。不成熟.
具体概念:有限状态机\语法约束矩阵\特征词库
1.4基于字标注的中文分词方法
以往的分词方法，无论是基于规则的还是基于统计的，一般都依赖于一个事先编制的词表(词典)。自动分词过程就是通过词表和相关信息来做出词语切分的决策。与此相反，基于字标注的分词方法实际上是构词方法。即把分词过程视为字在字串中的标注问题。由于每个字在构造一个特定的词语时都占据着一个确定的构词位置(即词位)，假如规定每个字最多只有四个构词位置：即B(词首)，M (词中)，E(词尾)和S(单独成词)，那么下面句子(甲)的分词结果就可以直接表示成如(乙)所示的逐字标注形式：
(甲)分词结果：／上海／计划／N／本／世纪／末／实现／人均／国内／生产／总值／五千美元／
(乙)字标注形式：上／B海／E计／B划／E N／S 本／s世／B 纪／E 末／S 实／B 现／E 人／B 均／E 国／B 内／E生／B产／E总／B值／E 五／B千／M 美／M 元／E 。／S
首先需要说明，这里说到的“字”不只限于汉字。考虑到中文真实文本中不可避免地会包含一定数量的非汉字字符，本文所说的“字”，也包括外文字母、阿拉伯数字和标点符号等字符。所有这些字符都是构词的基本单元。当然，汉字依然是这个单元集合中数量最多的一类字符。
把分词过程视为字的标注问题的一个重要优势在于，它能够平衡地看待词表词和未登录词的识别问题。在这种分词技术中，文本中的词表词和未登录词都是用统一的字标注过程来实现的。在学习架构上，既可以不必专门强调词表词信息，也不用专门设计特定的未登录词(如人名、地名、机构名)识别模块。这使得分词系统的设计大大简化。在字标注过程中，所有的字根据预定义的特征进行词位特性的学习，获得一个概率模型。然后，在待分字串上，根据字与字之间的结合紧密程度，得到一个词位的标注结果。最后，根据词位定义直接获得最终的分词结果。总而言之，在这样一个分词过程中，分词成为字重组的简单过程。然而这一简单处理带来的分词结果却是令人满意的。
2.1中文分词的难点
1\歧义问题
最困难\最核心的问题:只用机械匹配进行分词,其精度不可能高,不能满足高标准要求.
交集型歧义\组合型歧义\真歧义
依靠上下文\语义来解决.
2\未登录词识别
By lvpei.cnblogs.com
