Elasticsearch 多字段搜索

查询很少是对一个字段做 match 查询，通常都是一个 query 查询多个字段，比如一个 doc 有 title、content、pagetag 等文本字段，要在这些字段查询含多个 term 的 query，就要对它们的相关度评分做合理的合并。这被称为多词（multiword）、多字段（multifield）查询。

如果一个 query 可以结构化，如哪些词是 title，哪些词是 author，那么就可以直接在相关字段中查询，使用 bool 查询即可解决问题，bool 查询是“匹配越多越好”，如搜“War and Peace Leo Tolstoy”，查询语句如下：

GET /_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "title":  "War and Peace" }},
        { "match": { "author": "Leo Tolstoy"   }}
      ]
    }
  }
}

还可以对不同的字段加不同的 boost 权重。

以上被称为多重查询字符串，也可算是结构化查询，不过现实中通常是一个 query 在多个字段中查询，即单一查询字符串。毕竟对 query 做结构化需要些 nlp 技术和额外的人力成本，且比起单一查询字符串的效果提升也有限，所以若不是对召回效果有更高追求，还是不要轻举妄动，就好好做一个 query 在多个字段的查询吧。

一个 query 在多个字段中的查询，有三种策略：best_fields、most_fields、cross_fields。

介绍这三种策略之前，先铺垫下布尔查询和 dis_max 查询。

1. bool 查询

一个 query 在多个字段中的查询，同样可使用 bool 查询。

{
    "query": {
        "bool": {
            "should": [
                { "match": { "title": "Brown fox" }},
                { "match": { "body":  "Brown fox" }}
            ]
        }
    }
}

不过由于 bool 查询评分公式的问题，效果不太好，比如一个文档 title 和 body 都包含 brown，不包含 fox，另一个文档在 body 字段包含了 brown 和 fox，显然后者更符合搜索意图，但 bool 查询的评分前者高，为了理解导致这样的原因，需要看下 bool 查询是如何计算评分的：

• 它会执行 should 语句中的两个查询。

• 加和两个查询的评分。

• 乘以匹配字段的总数（这里不知是否理解正确，存疑，待验证）。

• 除以所有语句总数（这里为：2）。

注意这里的“乘以匹配语句的总数”是关键，这会导致匹配字段越多，分值越大。（后面的 most_fields 也是使用这个计算，才使得匹配字段数越多，分值越大）

解决方案是，使用最佳匹配字段的分值作为整个查询的整体分值，让包含 query 两个单词的字段有更高的权重，而不是在不同的字段中重复出现的相同单词。dis_max 查询应运而生。

2. dis_max

dis_max 查询就是返回匹配了 query 的文档，分值是最佳匹配字段产生的分值。加上 tie_breaker 可得出很好的搜索效果。

{
    "query": {
        "dis_max": {
            "queries": [
                { "match": { "title": "Quick pets" }},
                { "match": { "body":  "Quick pets" }}
            ],
            "tie_breaker": 0.3
        }
    }
}

3. best_fields

multi_match 查询提供了一个简便的方法对多个字段执行相同的查询。默认情况下，该查询以 best_fields 类型执行，它会为每个字段生成一个 match 查询，然后将这些查询包含在一个 dis_max 查询中。

例如：

GET /_search
{
  "query": {
    "multi_match" : {
      "query":      "brown fox",
      "type":       "best_fields",
      "fields":     [ "subject", "message" ],
      "tie_breaker": 0.3
    }
  }
}

执行时就变成了：

GET /_search
{
  "query": {
    "dis_max": {
      "queries": [
        { "match": { "subject": "brown fox" }},
        { "match": { "message": "brown fox" }}
      ],
      "tie_breaker": 0.3
    }
  }
}

可通过 caret 语法(^) 对个别字段加权，如：

{
    "multi_match": {
        "query":  "Quick brown fox",
        "fields": [ "title", "chapter_title^2" ]
    }
}

best_fields 和 most_fields 都是以字段为中心的查询，参数 operator 和 minimum_should_match 也是针对每个字段生效的，至少有一个字段满足要求，才会通过筛选并进入下一步计分，计分时也只有符合要求的字段才会参与计分。

operator 默认为 or，如果设置为 and，那么字段必须匹配所有 query 分词。当 operator 设为默认值 or 时，minimum_should_match 才会生效，设置每个字段应匹配分词数。

所以有些 query 信息是分布在多个字段上的，这时就不适合设置 operator 为 and，会减少召回量。如果确认 query 信息一定完全在某个字段上，则可设为 and。

为与 cross_fields 做对比，这里举个实际应用的例子。

搜索词为“苹果8plus国行”，文档有三个字段：cateName、title、content，其中 cateName 和 content 用 ik_smart 分词，title 用 ik_max_word 分词（不同字段的分词方法差异会在 cross_fields 中有所体现）。

看下 best_fields 查询的实际执行。

ES 语句：

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
    "query": {
        "function_score": {
            "query": {
                "bool": {
                    "should": [{
                        "multi_match": {
                            "query": "苹果8plus国行",
                            "fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
                            "type": "best_fields",
                            "operator": "AND",
                            "tie_breaker": 0.3
                        }
                    }]
                }
            }
        }
    }
}
'

返回解释：

(
(+cate_name:苹果8 +cate_name:plus +cate_name:国行) |
(+content:苹果8 +content:plus +content:国行) |
(+title:苹果8 +title:苹果 +title:8plus +title:8 +title:plus +title:国 +title:行)
)~0.3

明显的以字段为中心的查询。

tips：字段名可以通过通配符指定，如：

{
    "multi_match": {
        "query":  "Quick brown fox",
        "fields": "*_title"
    }
}

4. most_fields

有时为了尽可能多地匹配文档，会将同一文本的不同形式索引到多个字段。

ES语句（注意不要加 operator 或 minimum_should_match，不然就跟 best_fields 一样了）：

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
    "query": {
        "function_score": {
            "query": {
                "bool": {
                    "should": [{
                        "multi_match": {
                            "query": "苹果8plus国行",
                            "fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
                            "type": "most_fields"
                        }
                    }]
                }
            }
        }
    }
}
'

返回解释：

(
(cate_name:苹果8 cate_name:plus cate_name:国 cate_name:行) |
(content:苹果8 content:plus content:国 content:行) |
(title:苹果8 title:苹果 title:8plus title:8 title:plus title:国 title:行)
)~1.0

根据文档，most_fields 查询是用 bool 查询将两个字段语句包在里面，而不是像 best_fields 一样用 dis_max。（不知这个怎么验证，在自己的 ES 里试了下，看 explain 日志，没看出跟 best_fields 时 tie_breaker=1 有什么差别）

5. cross_fields

ES语句：

curl -XGET 'ip:port/indexname/_validate/query?explain&pretty' -d'
{
    "query": {
        "function_score": {
            "query": {
                "bool": {
                    "should": [{
                        "multi_match": {
                            "query": "苹果8plus国行",
                            "fields": ["cate_name^1.0", "content^1.0", "title^1.0"],
                            "type": "cross_fields",
                            "operator": "AND",
                            "tie_breaker": 0.3
                        }
                    }]
                }
            }
        }
    }
}
'

返回解释：

(
(+blended(terms:[cate_name:苹果8, content:苹果8]) +
blended(terms:[cate_name:plus, content:plus]) +
blended(terms:[cate_name:国行])) |
(+title:苹果8 +title:苹果 +title:8plus +title:8 +title:plus +title:国 +title:行)
)~0.3

这里 title 要和 cate_name、content 分开计算的原因，是因为两部分的分词方法不同，term 也不同。

根据《Elasticsearch: 权威指南》，关于 苹果8 的 IDF，会在 cate_name 和 content 中取最小值作为两个字段的 IDF。（待验证）

 

参考资料

• Elasticsearch: 权威指南：https://www.elastic.co/guide/cn/elasticsearch/guide/current/_best_fields.html
• Elasticsearch Reference：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-multi-match-query.html