随笔分类 -  自然语言处理

摘要:1. 什么是新词 现在大部分的分词工具已经做到了准确率高、粒度细,但是对于一些新词(new word)却不能做到很好地识别,比如: 快的打车优惠券 英雄联盟怎么不可以打排位 “快的”、“英雄联盟”应该被作为一个词,却被切成了两个词,失去了原有的语义。未登录词(out of vocabulary, O 阅读全文
posted @ 2017-04-12 15:43 Treant 阅读(8481) 评论(4) 推荐(2) 编辑