2018年10月28日
分词原理
摘要： 1. 分词的基本原理 现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料库。假如有一个句子：“小明来到荔湾区”，我们期望语料库统计后分词的结果是："小明/来到/荔湾/区"，而不是“小明/来到/荔/湾区”。那么如何做到这一点呢？ 从统计的角度，我们期望"小明/来到/荔湾/区"这个分词后句 阅读全文
posted @ 2018-10-28 14:20 下路派出所 阅读(202) 评论(0) 推荐(0) 编辑