ES模糊查询wildcard的替代方案，nGram + match_phrase

背景

1.ES模糊查询wildcard查询极耗机器CPU资源，查询耗时高，当并发量高时影响ES其它进程。
2.用户实际的模糊查询需求大多是左右模糊匹配。

可行性分析

match_phrase能够实现词组查询。

比如brown fox会返回匹配…brown fox…的结果，此结果与wildcard查询传入brown fox的查询结果一致。相当于我们通过match_phrase实现wildcard查询效果，但此时只满足一些特许的模糊查询需求。
那如何对match_phrase的功能进行增强，让其能够满足所有条件？
从上面的查询示例可以看出，brown fox会返回匹配…brown fox…的结果，其根本原因在于索引时ES将…brown fox…分词成了brown，fox等单词。所以只要我们能够控制ES分词效果，将会最终满足我们的需求。而ES提供了丰富的分词功能。

nGram分词能够实现按指定长度对文本进行分词。

nGram可以指定min_gram，max_gram参数实现不同的分词效果。
例如：min_gram，max_gram配置为5时，quick.brown.fox分词后会产生quick，uick.，ick.b，ck.br，k.bro，.brow，brown，rown.，own.f，wn.fo，n.fox。
这时match_phrase会达到什么效果了？
a.用户输入quick，brown，k.bro等都能够返回quick.brown.fox。
b.用户输入brown.fox，brown.fox会被分词成brown，rown.，own.f等，此时同样会返回quick.brown.fox。
c.用户输入fox(长度小于nGram分词配置的分词长度时），不会返回任何结果。

如何正确返回查询条件长度小于5时的结果

利用nGram分词 + term查询可以实现所需查询效果。
nGram分词配置：min_gram配置为1，max_gram配置为4。例如quick将会被分词为q，u，i，… quic，uick。
term查询会对用户输入的条件进行精确匹配，比如输入uic，会返回quick。

方案

查询条件长度小于5时：使用nGram分词 + term查询
查询条件长度大于等于5时：使用nGram分词 + match_phrase查询

实施

创建索引

PUT index_text_1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ngram_analyzer_short": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_short"
        },
        "ngram_analyzer_long": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_long"
        }
      },
      "tokenizer": {
        "ngram_tokenizer_short": {
          "type": "nGram",
          "min_gram": "1",
          "max_gram": "4"
        },
        "ngram_tokenizer_long": {
          "type": "nGram",
          "min_gram": "5",
          "max_gram": "5"
        }
      }
    }
  },
  "mappings": {
    "title": {
      "properties": {
        "char": {
          "type": "keyword",
          "fields": {
            "long_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_long"
            },
            "short_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_short"
            }
          }
        }
      }
    }
  }
}

新增数据

POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}  
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} 
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}

查询语句

查询条件长度大于等于5时

GET index_text_1/_search
{
    "query": {
        "match_phrase": {
            "char.long_char": {
                "query": "UsmRbRBFQY"
            }
        }
    }
}

 

 查询条件长度小于5时

GET index_text_1/_search
{
    "query": {
        "term": {
            "char.short_char": {
                "value": "fox"
            }
        }
    }
}

 

 

参考网址：

https://blog.csdn.net/weixin_43828710/article/details/122684156

https://cloud.tencent.com/developer/article/1061587?from=article.detail.1782572

https://cloud.tencent.com/developer/article/1782572