2013年10月8日
jieba 分词源代码研读(3)
摘要： 前面两篇文章说到了根据语料库和频度打分机制生成一个初步的分词结果。但是我们的分词结果仅仅用到了语料库已有的词语和频度，所以对于语料库中没有出现的词语判断能力等于0，比如下面这句：'乔治马丁写冰与火之歌拖了好久'其分词结果如下：{0: (-99.10570994217552, 1), 1: (-95.... 阅读全文
posted @ 2013-10-08 16:20 爱知菜 阅读(247) 评论(0) 推荐(0) 编辑