Loading

2018年9月25日
NLP系列-中文分词（基于统计）
摘要： 上文已经介绍了基于词典的中文分词，现在让我们来看一下基于统计的中文分词。 统计分词： 统计分词的主要思想是把每个词看做是由字组成的，如果相连的字在不同文本中出现的次数越多，就证明这段相连的字很有可能就是一个词。 统计分词一般做如下两步操作： 1.建立统计语言模型（n-gram） 2.对句子进行单词划 阅读全文
posted @ 2018-09-25 22:24 hiyoung 阅读(5319) 评论(1) 推荐(1) 编辑