2017年8月15日

分词器

摘要: 分词器,是将用户输入的一段文本,分析成符合逻辑的一种工具。现在的分词器没有办法做到完全的符合人们的要求。分词器有英文分词器和中文分词器,分词过程如下:英文的分词器过程:输入文本-关键词切分-去停用词-形态还原-转为小写 这里需要注意:查询索引时及时原文中都是大写也需要将其全部转换为小写中文的分词器分 阅读全文
posted @ 2017-08-15 16:49 李飞21 阅读(146) 评论(0) 推荐(0) 编辑