Elasticsearch 系列（四）- DSL实现自动补全查询

本章将和大家分享如何通过 Elasticsearch 实现自动补全查询功能。

一、自动补全-安装拼音分词器

1、自动补全需求说明

当用户在搜索框输入字符时，我们应该提示出与该字符有关的搜索项，如图：

2、使用拼音分词

要实现根据字母做补全，就必须对文档按照拼音分词。在 GitHub 上恰好有 Elasticsearch 的拼音分词插件。地址：https://github.com/infinilabs/analysis-pinyin

安装方式与IK分词器一样，分三步：

1）解压

2）上传到 Elasticsearch 的 plugins 目录下

3）重启 Elasticsearch

4）测试

首先从 GitHub 上下载 Elasticsearch 的拼音分词插件，如下所示：

下载完成后，将其解压出来，然后将解压后的文件夹名称重命名为 “py” ，最后把它复制到 Elasticsearch 的 plugins 目录下，如下所示：

安装完成后，需要重启一下 Elasticsearch ，如下所示：

可以发现拼音分词器插件安装成功了。

最后我们来测试一下：

# 测试拼音分词
POST /_analyze
{
  "text": "如家酒店还不错",
  "analyzer": "pinyin"
}

运行结果如下：

{
  "tokens" : [
    {
      "token" : "ru",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "rjjdhbc",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "jia",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "jiu",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "dian",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "hai",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "bu",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "cuo",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 6
    }
  ]
}

从该查询结果可以看出拼音分词器存在的一些问题：

1）第一个问题是拼音分词器它不会分词。

2）第二个问题是它把一句话里面的每一个字都形成了拼音，这对我们来说不仅没什么用，而且还会占用空间。

3）第三个问题是拼音分词结果中没有汉字只剩下了拼音，而实际上我们用拼音搜索的情况是占少数的，大多数情况下其实我们是想通过中文去搜索的，所以说有拼音是锦上添花，但是不能把汉字给扔了，汉字也得保留。

这是我们拼音分词器目前所面临的几个问题，因此我们就必须得对拼音分词器做一些配置或者叫做自定义了，那么怎么样才能实现自定义分词器呢？

二、自动补全-自定义分词器

Elasticsearch中分词器（analyzer）的组成包含三部分：

character filters：在tokenizer之前对文本进行处理。例如：删除字符、替换字符。
tokenizer：将文本按照一定的规则切割成词条（term）。例如：keyword 就是不分词、还有ik_smart 。
tokenizer filter：对tokenizer输出的词条做进一步的处理。例如：大小写转换、同义词处理、拼音处理等。

我们可以在创建索引库时，通过settings来配置自定义的analyzer（分词器）：

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { //自定义分词器
        "my_analyzer": { //自定义分词器的名称
          "tokenizer": "ik_max_word",
          "filter": "pinyin"
        }
      }
    }
  }
}

上面这个只是解决了拼音分词器分词的问题，因此还需要对拼音分词器做进一步的定制，如下所示：

# 自定义拼音分词器
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { //自定义分词器
        "my_analyzer": { //自定义分词器名称
          "tokenizer": "ik_max_word",
          "filter": "py" //过滤器名称，可以是自定义的过滤器
        }
      },
      "filter": { //自定义tokenizer filter
        "py": { //自定义过滤器的名称，可随意取
          "type": "pinyin", //过滤器类型，这里是pinyin
          "keep_full_pinyin": false, //修改可选参数，具体可参考拼音分词器GitHub官网
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_analyzer" //使用自定义分词器
      }
    }
  }
}

拼音分词器更多可选参数可参考GitHub官网：https://github.com/infinilabs/analysis-pinyin

test索引库创建完成后，下面我们来测试下：

# 测试自定义分词器
POST /test/_analyze
{
  "text": [
    "如家酒店还不错"
  ],
  "analyzer": "my_analyzer"
}

注意：在test索引库中自定义的分词器也只能在test索引库中使用。

运行结果如下：

{
  "tokens" : [
    {
      "token" : "如家",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "rujia",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "rj",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "酒店",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "jiudian",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "jd",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "还不",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "haibu",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "hb",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "不错",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "bucuo",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "bc",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}

可以看出，搜索结果中既有汉字、又有拼音、还有分词，这完全符合我们的预期。

但是需要特别注意的是：拼音分词器适合在创建倒排索引的时候使用，不适合在搜索的时候使用。下面我们通过一个例子来说明：

往test索引库中加入2条测试数据，如下所示：

POST /test/_doc/1
{
  "id": 1,
  "name": "狮子"
}

POST /test/_doc/2
{
  "id": 2,
  "name": "虱子"
}

接着我们搜索“掉入狮子笼咋办”，如下所示：

GET /test/_search
{
  "query": {
    "match": {
      "name": "掉入狮子笼咋办"
    }
  }
}

运行结果如下：

可以发现，其实我们是想找“狮子”，但是它把同音字“虱子” 也搜索出来了。下面我们通过一张图来了解一下这个过程，如下所示：

由此可见，拼音分词器适合在创建倒排索引的时候使用，但不能在搜索的时候使用。

正确的做法是：字段在创建倒排索引时应该用my_analyzer分词器，而字段在搜索时应该使用ik_smart分词器。如下所示：

# 自定义拼音分词器
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { //自定义分词器
        "my_analyzer": { //自定义分词器名称
          "tokenizer": "ik_max_word",
          "filter": "py" //过滤器名称，可以是自定义的过滤器
        }
      },
      "filter": { //自定义tokenizer filter
        "py": { //自定义过滤器的名称，可随意取
          "type": "pinyin", //过滤器类型，这里是pinyin
          "keep_full_pinyin": false, //修改可选参数，具体可参考拼音分词器GitHub官网
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_analyzer", //创建倒排索引时使用自定义分词器
        "search_analyzer": "ik_smart" //搜索时应该使用ik_smart分词器
      }
    }
  }
}

总结：

1、如何使用拼音分词器？

下载 pinyin 分词器
解压并放到 Elasticsearch 的 plugins 目录
重启即可

2、如何自定义分词器？

创建索引库时，在 settings 中配置，可以包含三部分
character filter
tokenizer
filter

3、拼音分词器注意事项？

为了避免搜索到同音字，搜索时不要使用拼音分词器。

三、自动补全-DSL实现自动补全查询

Elasticsearch 提供了 Completion Suggester 查询来实现自动补全功能。官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.6/search-suggesters.html#completion-suggester

这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率，对于文档中字段的类型有一些约束：

参与补全查询的字段必须是completion类型。
字段的内容一般是用来补全的多个词条形成的数组。

# 创建索引库
PUT test
{
  "mappings": {
    "properties": {
      "title": {
        "type": "completion"
      }
    }
  }
}

# 示例数据
POST test/_doc
{
  "title": [
    "Sony",
    "WH-1000XM3"
  ]
}

POST test/_doc
{
  "title": [
    "SK-II",
    "PITERA"
  ]
}

POST test/_doc
{
  "title": [
    "Nintendo",
    "switch"
  ]
}

查询语法如下：

# 自动补全查询
GET /test/_search
{
  "suggest": {
    "title_suggest": { //自动补全查询的名称（自定义的名称）
      "text": "s",  //搜索关键字
      "completion": {
        "field": "title", //自动补全查询的字段
        "skip_duplicates": true, //跳过重复的
        "size": 10 //获取前10条结果
      }
    }
  }
}

查询结果如下：

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "title_suggest" : [
      {
        "text" : "s",
        "offset" : 0,
        "length" : 1,
        "options" : [
          {
            "text" : "SK-II",
            "_index" : "test",
            "_type" : "_doc",
            "_id" : "2CJaPY4Bne6OHhy3cho1",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "SK-II",
                "PITERA"
              ]
            }
          },
          {
            "text" : "Sony",
            "_index" : "test",
            "_type" : "_doc",
            "_id" : "1yJaPY4Bne6OHhy3WBoZ",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "Sony",
                "WH-1000XM3"
              ]
            }
          },
          {
            "text" : "switch",
            "_index" : "test",
            "_type" : "_doc",
            "_id" : "2SJaPY4Bne6OHhy3fBod",
            "_score" : 1.0,
            "_source" : {
              "title" : [
                "Nintendo",
                "switch"
              ]
            }
          }
        ]
      }
    ]
  }
}

自动补全对字段的要求：

类型是completion类型
字段值是多词条的数组

四、自动补全-酒店数据自动补全（案例）

案例：实现hotel索引库的自动补全、拼音搜索功能

实现思路如下：

1、修改hotel索引库结构，设置自定义拼音分词器。

2、修改索引库的name、all字段，使用自定义分词器。

3、索引库添加一个新字段suggestion，类型为completion类型，使用自定义的分词器。

4、给HotelDoc类添加suggestion字段，内容包含brand、business 。

5、重新导入数据到hotel索引库

注意：name、all是可分词的，自动补全的brand、business是不可分词的，要使用不同的分词器组合。

# 创建酒店数据索引库
PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_anlyzer": { //自定义分词器，在创建倒排索引时使用
          "tokenizer": "ik_max_word",
          "filter": "py" //自定义过滤器py
        },
        "completion_analyzer": { //自定义分词器，用于实现自动补全
          "tokenizer": "keyword", //不分词
          "filter": "py" //自定义过滤器py
        }
      },
      "filter": { //自定义tokenizer filter
        "py": { //自定义过滤器的名称，可随意取
          "type": "pinyin",
          "keep_full_pinyin": false, //可选参数配置，具体可参考拼音分词器Github官网
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword" //不分词
      },
      "name": {
        "type": "text", //分词
        "analyzer": "text_anlyzer", //在创建倒排索引时使用自定义分词器text_anlyzer
        "search_analyzer": "ik_smart", //在搜索时使用ik_smart
        "copy_to": "all" //拷贝到all字段
      },
      "address": {
        "type": "keyword",
        "index": false //不创建倒排索引，不参与搜索
      },
      "price": {
        "type": "integer"
      },
      "score": {
        "type": "integer"
      },
      "brand": {
        "type": "keyword",
        "copy_to": "all" //拷贝到all字段
      },
      "city": {
        "type": "keyword"
      },
      "starName": {
        "type": "keyword"
      },
      "business": {
        "type": "keyword",
        "copy_to": "all" //拷贝到all字段
      },
      "location": {
        "type": "geo_point" //geo_point地理坐标类型
      },
      "pic": {
        "type": "keyword",
        "index": false //不创建倒排索引，不参与搜索
      },
      "all": { //该字段主要用于搜索，没有实际意义，且在搜索结果的原始文档中你是看不到该字段的
        "type": "text",
        "analyzer": "text_anlyzer", //在创建倒排索引时使用自定义分词器text_anlyzer
        "search_analyzer": "ik_smart" //在搜索时使用ik_smart
      },
      "suggestion": { //自动补全搜索字段
        "type": "completion", //completion为自动补全类型
        "analyzer": "completion_analyzer" //自动补全使用自定义分词器completion_analyzer
      }
    }
  }
}

由于hotel索引库发生了变更，因此我们需要重新初始化一下ES的数据，此处我采用了.net代码实现了将酒店数据批量导入到ES中，关键代码如下所示：

Hotel类（酒店数据）：

using SqlSugar;

namespace Demo.Domain.Entities
{
    /// <summary>
    /// 酒店数据
    /// </summary>
    [SugarTable("tb_hotel")] //指定数据库表名
    public class Hotel
    {
        /// <summary>
        /// 酒店id
        /// </summary>
        [SugarColumn(IsPrimaryKey = true)] //数据库是主键需要加上IsPrimaryKey
        public long id { get; set; }

        /// <summary>
        /// 酒店名称
        /// </summary>
        public string name { get; set; }

        /// <summary>
        /// 酒店地址
        /// </summary>
        public string address { get; set; }

        /// <summary>
        /// 酒店价格
        /// </summary>
        public int price { get; set; }

        /// <summary>
        /// 酒店评分
        /// </summary>
        public int score { get; set; }

        /// <summary>
        /// 酒店品牌
        /// </summary>
        public string brand { get; set; }

        /// <summary>
        /// 所在城市
        /// </summary>
        public string city { get; set; }

        /// <summary>
        /// 酒店星级
        /// </summary>
        [SugarColumn(ColumnName = "star_name")] //指定数据库表字段 
        public string starName { get; set; }

        /// <summary>
        /// 商圈
        /// </summary>
        public string business { get; set; }

        /// <summary>
        /// 纬度
        /// </summary>
        public string latitude { get; set; }

        /// <summary>
        /// 经度
        /// </summary>
        public string longitude { get; set; }

        /// <summary>
        /// 酒店图片
        /// </summary>
        public string pic { get; set; }
    }
}

View Code

HotelDoc类（酒店数据对应的ES文档）：

using System;

namespace Demo.Domain.Docs
{
    /// <summary>
    /// 酒店数据对应的ES文档
    /// </summary>
    public class HotelDoc
    {
        /// <summary>
        /// 酒店id
        /// </summary>
        public long id { get; set; }

        /// <summary>
        /// 酒店名称
        /// </summary>
        public string name { get; set; }

        /// <summary>
        /// 酒店地址
        /// </summary>
        public string address { get; set; }

        /// <summary>
        /// 酒店价格
        /// </summary>
        public int price { get; set; }

        /// <summary>
        /// 酒店评分
        /// </summary>
        public int score { get; set; }

        /// <summary>
        /// 酒店品牌
        /// </summary>
        public string brand { get; set; }

        /// <summary>
        /// 所在城市
        /// </summary>
        public string city { get; set; }

        /// <summary>
        /// 酒店星级
        /// </summary>
        public string starName { get; set; }

        /// <summary>
        /// 商圈
        /// </summary>
        public string business { get; set; }

        /// <summary>
        /// 纬度
        /// </summary>
        //public string latitude { get; set; }

        /// <summary>
        /// 经度
        /// </summary>
        //public string longitude { get; set; }

        /// <summary>
        /// 地理坐标字段（将经度和纬度字段合并成一个地理坐标字段）
        /// 将经度和纬度的字段值用英文逗号拼在一起，例如："40.048969, 116.619566"
        /// </summary>
        public string location { get; set; }

        /// <summary>
        /// 酒店图片
        /// </summary>
        public string pic { get; set; }

        /// <summary>
        /// 自动补全搜索字段
        /// </summary>
        public List<string> suggestion { get; set; }
    }
}

View Code

Hotel类和 HotelDoc类二者的映射关系：

using AutoMapper;
using Demo.Domain.Docs;
using Demo.Domain.Entities;

namespace Demo.Domain.AutoMapperConfigs
{
    public class MyProfile : Profile
    {
        public MyProfile()
        {
            // 配置 mapping 规则

            CreateMap<Hotel, HotelDoc>()
                .AfterMap((tbl, doc) =>
                {
                    #region 地理坐标字段处理
                    if (!string.IsNullOrEmpty(tbl.latitude) && !string.IsNullOrEmpty(tbl.longitude))
                    {
                        //将经度和纬度的字段值用英文逗号拼在一起，例如："40.048969, 116.619566"
                        doc.location = string.Format(@"{0}, {1}", tbl.latitude, tbl.longitude);
                    }
                    #endregion

                    #region 自动补全搜索字段处理
                    var suggestionList = new List<string>();
                    if (!string.IsNullOrEmpty(tbl.brand))
                    {
                        //品牌
                        suggestionList.Add(tbl.brand);
                    }

                    if (!string.IsNullOrEmpty(tbl.business))
                    {
                        //商圈
                        if (tbl.business.Contains("/"))
                        {
                            suggestionList.AddRange(tbl.business.Split('/'));
                        }
                        else
                        {
                            suggestionList.Add(tbl.business);
                        }
                    }

                    doc.suggestion = suggestionList; 
                    #endregion
                });
        }
    }
}

View Code

将酒店数据批量插入到ES中：

using Microsoft.AspNetCore.Mvc;
using AutoMapper;
using Demo.Domain.Docs;
using Demo.Domain.Entities;
using Demo.Infrastructure.Repositories;
using TianYaSharpCore.Elasticsearch;

namespace Demo.MVC.Controllers
{
    public class HomeController : Controller
    {
        private readonly HotelRepository _hotelRepository;
        private readonly IElasticClientProvider _elasticClientProvider;
        private readonly IMapper _mapper;

        public HomeController(HotelRepository hotelRepository, IElasticClientProvider elasticClientProvider, IMapper mapper)
        {
            _hotelRepository = hotelRepository;
            _elasticClientProvider = elasticClientProvider;
            _mapper = mapper;
        }

        public async Task<IActionResult> Index()
        {
            //从数据库中查出所有的酒店数据
            var hotelList = await _hotelRepository._sqlSugarClient.Queryable<Hotel>().ToListAsync();
            //实体转换
            var hotelDocList = _mapper.Map<List<HotelDoc>>(hotelList);
            //使用Nest将酒店数据批量插入到ES中
            var asyncBulkIndexResponse = await _elasticClientProvider.ElasticLinqClient.BulkAsync(bulk => bulk
                .Index("hotel")
                .IndexMany(hotelDocList)
            );
            return View();
        }
    }
}

View Code

ES数据初始化完成后，最后我们再去试一下酒店数据的自动补全查询，如下所示：

# 自动补全查询
GET /hotel/_search
{
  "suggest": {
    "mySuggestion": {
      "text": "sd",
      "completion": {
        "field": "suggestion",
        "skip_duplicates": true,
        "size": 10
      }
    }
  }
}

运行结果如下所示：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "suggest" : {
    "mySuggestion" : [
      {
        "text" : "sd",
        "offset" : 0,
        "length" : 2,
        "options" : [
          {
            "text" : "上地产业园",
            "_index" : "hotel",
            "_type" : "_doc",
            "_id" : "2359697",
            "_score" : 1.0,
            "_source" : {
              "id" : 2359697,
              "name" : "如家酒店(北京上地安宁庄东路店)",
              "address" : "清河小营安宁庄东路18号20号楼",
              "price" : 420,
              "score" : 46,
              "brand" : "如家",
              "city" : "北京",
              "starName" : "二钻",
              "business" : "上地产业园/西三旗",
              "location" : "40.041322, 116.333316",
              "pic" : "https://m.tuniucdn.com/fb3/s1/2n9c/2wj2f8mo9WZQCmzm51cwkZ9zvyp8_w200_h200_c1_t0.jpg",
              "suggestion" : [
                "如家",
                "上地产业园",
                "西三旗"
              ]
            }
          },
          {
            "text" : "首都机场",
            "_index" : "hotel",
            "_type" : "_doc",
            "_id" : "395702",
            "_score" : 1.0,
            "_source" : {
              "id" : 395702,
              "name" : "北京首都机场希尔顿酒店",
              "address" : "首都机场3号航站楼三经路1号",
              "price" : 222,
              "score" : 46,
              "brand" : "希尔顿",
              "city" : "北京",
              "starName" : "五钻",
              "business" : "首都机场/新国展地区",
              "location" : "40.048969, 116.619566",
              "pic" : "https://m.tuniucdn.com/fb2/t1/G6/M00/52/10/Cii-U13ePtuIMRSjAAFZ58NGQrMAAGKMgADZ1QAAVn_167_w200_h200_c1_t0.jpg",
              "suggestion" : [
                "希尔顿",
                "首都机场",
                "新国展地区"
              ]
            }
          }
        ]
      }
    ]
  }
}

至此本文就全部介绍完了，如果觉得对您有所启发请记得点个赞哦！！！

Demo源码：

链接：https://pan.baidu.com/s/15y_laomAAag6Ruo7I0EMGw 
提取码：et4b

此文由博主精心撰写转载请保留此原文链接：https://www.cnblogs.com/xyh9039/p/18063462

posted @ 2024-03-17 17:17 谢友海阅读(548) 评论(0) 编辑收藏举报

刷新页面返回顶部

欢迎来到谢友海的博客

Elasticsearch 系列（四）- DSL实现自动补全查询

一、自动补全-安装拼音分词器

1、自动补全需求说明

2、使用拼音分词

二、自动补全-自定义分词器

三、自动补全-DSL实现自动补全查询

四、自动补全-酒店数据自动补全（案例）

公告