[转载]谈谈中文分词
摘要:
谈谈中文分词 —– 统计语言模型在中文处理中的一个应用 上回我们谈到利用统计语言模型进行语言处理,由于模型是建立在词的基础上的,对于中日韩等语言,首先需要进行分词。例如把句子 “中国航天官员应邀到美国与太空总署官员开会。” 分成一串词: 中国 / 航天 / 官员 / 应邀 / 到 / 美国 / 与 / 太空 / 总署 / 官员 / 开会。 最容易想到的,也是最简单的分词办法就是查字典。这种方法最早... 阅读全文
posted @ 2006-09-18 17:26 优雅强盗*佛法无边 阅读(203) 评论(0) 推荐(0) 编辑