中文分词方法学习_一般分词算法001

一般经常使用的分词算法汇总：

1、基于字符串匹配的分词算法（机械分词算法），按照一定的策略将待分析字符串与“充分大的”机器字典中的词条进行匹配，基于字符串匹配的分词方法主要是正向匹配和逆向匹配，按照长度不同优先匹配可以分为：最大最长匹配和最小最短匹配。这种方法主要是依据字典进行匹配，逐词遍历，词条的选择影响分词的效果。

2、基于理解的方法：在分词的同时进行语义分析，利于语法信息和语义信息处理歧义现象。

3、基于统计的方法：对语料中的字组频率进行计算，不考虑切分字典。

中文分词算法词典匹配，基于统计，最大匹配、最小匹配对词的长度和字数进行匹配，是关键字排名的核心，而正向匹配和逆向匹配解决了网页内容词与词的相关性，所以对分词算法的研究也是网站关键字排名的基础。