ES 中文分词器ik及基于netcore的远程词库环境编写

因为ik目前最高支持es 8.2.3,所以本文基于8.2.3的环境编写.

1、集群环境构建

参考Es 集群搭建及相关配置和相关参数解读,分别下载Es和kibana 8.2.3版本,部署到相应的服务器,删除es原有的data目录.配置elasticsearch.yml,节点配置如下:

节点配置

cluster.name: test_cluster
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
discovery.seed_hosts: ["127.0.0.1:9300", "172.18.100.231:9300","172.18.100.224:9300"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
xpack.security.enabled: false

注意事项:节点名称、杀毒软件、防火墙等等,否则集群构建会失败

接着运行各自节点的elasticsearch.bat文件.

环境构建到此结束.

 

2、ik分词器安装部署 下载地址

注意es和ik分词器的版本匹配.这里下载8.2.3的ik分词器

下载完毕之后去es的工作目录的plugins文件夹下新建ik文件夹,将下载下来的ik压缩包解压缩至ik文件夹下,重启es,集群中所有节点重复此操作.

 

3、ik 分词器简介

3.1 词库介绍

ik分词器主要有以下词库,位于config目录下

(1)、main.dic 主词库,包含日常生活中常用的词

(2)、stopword.dic 英文停用词,当出现该词库中的文本内容时,将不会建立倒排索引

(3)、quantifier.dic 计量单位等

(4)、suffix.dic 后缀名、行政单位等

(5)、surname.dic 百家姓等

(6)、preposition.dic 语气词等

 

3.2 配置介绍

IKAnalyzer.cfg.xml ik配置文件位于config目录下

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict"></entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

主要用于扩展配置.

 

 3.3 使用方式

ik分词器主要分为ik_smart 、ik_max_word 下面分别测试,使用kibna dev tools.

ik_smart 

GET test_index/_analyze
{
  "tokenizer": "ik_smart",
  "text": ["中华人民共和国"]
}

分词结果如下:

{
  "tokens" : [
    {
      "token" : "中华人民共和国",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

 

ik_max_word 

GET test_index/_analyze
{
  "tokenizer": "ik_max_word",
  "text": ["中华人民共和国"]
}

分词结果如下:

{
  "tokens" : [
    {
      "token" : "中华人民共和国",
      "start_offset" : 0,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "中华人民",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "中华",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "华人",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "人民共和国",
      "start_offset" : 2,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "人民",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "共和国",
      "start_offset" : 4,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "共和",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "国",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

根据分词结果,很明显ik_max_word分的粒度更加的细和全面,所以一般都是用ik_max_word作为分词器.

 

3.4 扩展分词

一般情况下,词库是够用的,但是如果碰到一些特殊词汇如网络用词,这个时候就需要手动添加相关的词汇进入到词库中.ik添加自定义词库的步骤如下

(1)、在config目录下,新增自定义词库文件

 

内容其中一个文件如下:

 

 (2)、修改配置文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">custom_1.dic;custom_2.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

(3)、集群中所有的节点重复此操作

(4)、重启所有节点

(5)、测试

dev tools执行以下语句

GET test_index/_analyze
{
  "tokenizer": "ik_max_word",
  "text": ["啊啦搜"]
}

结果如下:

{
  "tokens" : [
    {
      "token" : "啊啦搜",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

啊啦搜被作为一个词进行了分词,说明自定义词库生效了.

 

4、ik 分词器字库远程热更新

这里用dotnet举例,版本net6,远程词库的要求请参考官方文档

net6 api接口如下:

        [HttpGet("extdics")]
        [HttpHead("extdics")]
        public async Task GetExtDicsAsync(string type)
        {
            var filePath = type == "stop" ? Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "TokenizerExtFiles", "remote_ext_stopwords.txt") : Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "TokenizerExtFiles", "remote_ext_dict.txt");
            using (var fileStream =System.IO.File.Open(filePath, FileMode.Open))
            {

                byte[] result = new byte[fileStream.Length];
                await fileStream.ReadAsync(result, 0, (int)fileStream.Length, _httpContextAccessor.HttpContext.RequestAborted);
                var contentWithNoBom= Encoding.UTF8.GetString(result).WithNobom();
                if (_httpContextAccessor.HttpContext != null)
                {
                    _httpContextAccessor.HttpContext.Response.Headers["Last-Modified"] = result.Length.ToString();
                    _httpContextAccessor.HttpContext.Response.Headers["ETag"] = result.Length.ToString();
                    _httpContextAccessor.HttpContext.Response.ContentType = "text/plain;charset=utf-8";
                    await _httpContextAccessor.HttpContext.Response.Body.WriteAsync(Encoding.UTF8.GetBytes(contentWithNoBom), _httpContextAccessor.HttpContext.RequestAborted);
                }
            }
        }

将api所在站点发布至服务器,接着修改ik配置文件IKAnalyzer.cfg.xml,集群中所有节点重复此操作

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict"></entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
 <entry key="remote_ext_dict">http://172.18.100.231:12342/ik/extdics?type=dict</entry> 
    <!--用户可以在这里配置远程扩展停止词字典-->
 <entry key="remote_ext_stopwords">http://172.18.100.231:12342/ik/extdics?type=stop</entry>
</properties>

上述操作完成后,执行以下代码:

GET test_index/_analyze
{
  "tokenizer": "ik_max_word",
  "text":"你好 张三 阿拉索"
}

分词结果如下:

{
  "tokens" : [
    {
      "token" : "你好",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "张三",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "三",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "TYPE_CNUM",
      "position" : 2
    },
    {
      "token" : "阿拉",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "索",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 4
    }
  ]
}

阿拉索被拆分成了两个词,你好 张三也被分成两个词,接着修改远程词库.强制将阿拉索分成一个词,同时禁用你好和张三两个词

 

 es控制台显示词库加载完毕,看下效果.分词结果如下:

{
  "tokens" : [
    {
      "token" : "三",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "TYPE_CNUM",
      "position" : 0
    },
    {
      "token" : "阿拉索",
      "start_offset" : 6,
      "end_offset" : 9,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "阿拉",
      "start_offset" : 6,
      "end_offset" : 8,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "索",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 3
    }
  ]
}

内容正确,说明远程词库生效.

其余内容参考官方文档