摘要:
实现一个自定义分词器 实现一个简单的英文分词器,主要分为以下几个步骤: 1.建立自己的Attribute接口MyCharAttribute 1 /** 2 * MyCharAttribute 3 * 4 * @author limingcheng 5 * @Date 2019/11/28 6 */ 阅读全文
摘要:
Ansj分词器 导入jar包 ansj_seg-5.1.6.jar nlp-lang-1.7.8.jar maven配置 <dependency> <groupId>org.ansj</groupId> <artifactId>ansj_seg</artifactId> <version>5.1.1 阅读全文
摘要:
IKanalyzer IKanalyzer分词器,有两种分词模式: l 细粒度切分 l 智能分词 1 /** 2 * 使用分词器对字符串分词 3 */ 4 private static void IKanalyzer8() throws ParseException, IOException { 5 阅读全文
摘要:
中文分词 过年期间由于新冠肺炎疫情的原因,在家里多待了一周多的时间。于是就学了一下分布式系统之类杂七杂八的东西,现在终于有时间来整理一下之前学过的知识了。这次介绍一下全文检索中用到的中文分词器。 中文分词的问题中文是博大精深的,因此要对中文进行系统分析的工作也是困难滴。不同于英文,英文的格式一个词就 阅读全文