Elasticsearch搜索引擎学习笔记(四)

分词器

内置分词器

  standard:默认分词,单词会被拆分,大小会转换为小写。
  simple:按照非字母分词。大写转为小写。
  whitespace:按照空格分词。忽略大小写。
  stop:去除无意义单词,比如the/a/an/is…
  keyword:不做分词。把整个文本作为一个单独的关键词。

  

  接口

  POST /_analyze
  {
    "analyzer": "standard",
    "text": "text文本"
  }

 

  POST /my_doc/_analyze
  {
    "analyzer": "standard",
    "field": "name",
    "text": "text文本"
  }

 

中文分词器

  es内置分词器不支持对中文拆分,会将中文的每一个汉字都拆开,这不满足需求,所以需要安装中文分词插件。

  https://github.com/medcl/elasticsearch-analysis-ik下载对应es版本的。

  解压 unzip elasticsearch-analysis-ik-6.4.3.zip -d /usr/local/elasticsearch-6.4.3/plugins/ik

  重启es

 

  测试一下

  

  可以拆分成下面这些

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
{
    "tokens": [
        {
            "token": "上下班",
            "start_offset": 0,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "上下",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "下班",
            "start_offset": 1,
            "end_offset": 3,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "班车",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 3
        },
        {
            "token": "车流量",
            "start_offset": 3,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "车流",
            "start_offset": 3,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 5
        },
        {
            "token": "流量",
            "start_offset": 4,
            "end_offset": 6,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "很大",
            "start_offset": 6,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 7
        }
    ]
}

  

  自定义中文词库

  有些网络用语或专有名词不能被当成一个词,所以需要我们自定义。

  1、vim /usr/local/elasticsearch-6.4.3/plugins/ik/config/IKAnalyzer.cfg.xml

    

  2、在IKAnalyzer.cfg.xml同级创建custom.dic

  3、在custom.dic中添加自定义中文词语

    

  4、重启。现在es就不会把慕课网拆分成3个单独的字了

    

posted @   坏猫先生  阅读(175)  评论(0编辑  收藏  举报
编辑推荐:
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Linux系统下SQL Server数据库镜像配置全流程详解
· 现代计算机视觉入门之:什么是视频
阅读排行:
· Sdcb Chats 技术博客:数据库 ID 选型的曲折之路 - 从 Guid 到自增 ID,再到
· .NET Core GC压缩(compact_phase)底层原理浅谈
· Winform-耗时操作导致界面渲染滞后
· Phi小模型开发教程:C#使用本地模型Phi视觉模型分析图像,实现图片分类、搜索等功能
· 语音处理 开源项目 EchoSharp
点击右上角即可分享
微信分享提示