摘要:
几个免费的中文分词模块几个月前做毕业论文的时候需要用到中文分词技术,现在总结一下我所找到的资料。一、什么是中文分词众所周知,英文是以词为单位的,词和词之间是靠空格隔开,而中文是以字为单位,句子中所有的字连起来才能描述一个意思。例如,英文句子“I am a student”,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道“student”是一个单词,但是不能很容易明白「学」、「生」两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词,就是中文分词,有些人也称为切词。“我是一个学生”,分词的结果是:“我 是 一个 学生”。中文分词是其他中文信息处理的基础,搜索引擎只是中文分词的一 阅读全文