摘要: 实现一个自定义分词器 实现一个简单的英文分词器,主要分为以下几个步骤: 1.建立自己的Attribute接口MyCharAttribute 1 /** 2 * MyCharAttribute 3 * 4 * @author limingcheng 5 * @Date 2019/11/28 6 */ 阅读全文
posted @ 2020-02-13 18:48 小白很爱吃 阅读(595) 评论(0) 推荐(0) 编辑
摘要: Ansj分词器 导入jar包 ansj_seg-5.1.6.jar nlp-lang-1.7.8.jar maven配置 <dependency> <groupId>org.ansj</groupId> <artifactId>ansj_seg</artifactId> <version>5.1.1 阅读全文
posted @ 2020-02-13 17:43 小白很爱吃 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: IKanalyzer IKanalyzer分词器,有两种分词模式: l 细粒度切分 l 智能分词 1 /** 2 * 使用分词器对字符串分词 3 */ 4 private static void IKanalyzer8() throws ParseException, IOException { 5 阅读全文
posted @ 2020-02-13 17:35 小白很爱吃 阅读(797) 评论(0) 推荐(0) 编辑
摘要: 中文分词 过年期间由于新冠肺炎疫情的原因,在家里多待了一周多的时间。于是就学了一下分布式系统之类杂七杂八的东西,现在终于有时间来整理一下之前学过的知识了。这次介绍一下全文检索中用到的中文分词器。 中文分词的问题中文是博大精深的,因此要对中文进行系统分析的工作也是困难滴。不同于英文,英文的格式一个词就 阅读全文
posted @ 2020-02-13 16:45 小白很爱吃 阅读(547) 评论(0) 推荐(0) 编辑
浏览器标题切换
浏览器标题切换end