es-collapse查询

es-collapse 字段折叠去重查询

   前提

   我们知道，在mysql有distinct去重查询，那么在es中如何针对字段去重呢？

   最近在使用es查询时，有这样的需求，详情如下：

   1.  返回数据按照id降序排序，针对用户ID（user_id）对数据进行去重

   2.  同一个用户ID如果存在多条记录，保留主键id值最小的那个

{
    "lists": [
        {
            "id": 7840915,
            "time": 1673512772,
            "user_id": 23004000,
            "target_id": 14016237,
        },
        {
            "id": 7840916,
            "time": 1673494355,
            "user_id": 20073846,
            "target_id": 14016237
        },
        {
            "id": 7840914,
            "target_id": 14016237,
            "user_id": 20073846,  
            "time": 1673493919
        },
           {
            "id": 7840845,
            "target_id": 14016237,
            "user_id": 23001854,
            "time": 1673442359
        }
    ]
}

   1. 实现方案分析

   这里有两种实现方案：
   1）top_hits + 聚合统计agg

   查询语句参考：

GET example/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
             "target_id": "14016237"
          }
        }
      ]
    }
  },
  "_source": [
    "id",
    "title"
  ],
  "aggs": {
    "phone_count": {
      "terms": {
        "field": "user_id"
      }
    }
  }
}

   从查询结果中摘取一部分：

{
    "aggregations": {
        "phone_count": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": 20073846,
                    "doc_count": 2
                },
                {
                    "key": 20036806,
                    "doc_count": 1
                },
                {
                    "key": 23001854,
                    "doc_count": 1
                },
                {
                    "key": 23004000,
                    "doc_count": 1
                }
            ]
        }
    }
}

   2）es5以后的新特性collapse（字段折叠）

    查询语句参考：

GET example/_search
{
  "query": {
    "bool": {
      "must": [],
      "filter": [
        {
          "term": {
            "target_id": "14016237"
          }
        }
      ]
    }
  },
  "_source": [
    "id",
    "user_id",
    "expend_type",
    "@timestamp"
  ],
  "size": "15",
  "collapse": {
    "field": "user_id",      //按user_id字段进行折叠
    "inner_hits": {  
        "name": "expend_list",   //查看用户信息结果键名
        "size":1,                //每个折合集文档数
        "sort":[{"id":"asc"}]    //每个折合集文档排序规则
           "_source": []            //文档的字段
     }
  },
  "sort":[{"id":"desc"}]
}

     说明：inner_hits是用于针对折叠字段（这里是user_id重复的数据）筛选排序而指定的规则，其中：name相当于别名，size是返回的折叠集结果数量，sort是针对user_id重复的数据根据指定规则来进行排序

    从查询结果中摘取一部分：

{
  "took" : 6,
  "timed_out" : false,
  "_shards" : {
    "total" : 15,
    "successful" : 15,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 6,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
            ...
        "inner_hits" : {
          "expend_list" : {
            "hits" : {
              "total" : {
                "value" : 2,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "example",
                  "_type" : "_doc",
                  "_id" : "7840914",
                  "_score" : null,
                  "_source" : {
                    "target_id" : 14016237,
                    "user_id" : 20073846,
                    "id" : 7840914,
                    "time" : 1673493919
                  },
                  "sort" : [
                    7840914
                  ]
                },
                {
                  "_index" : "example",
                  "_type" : "_doc",
                  "_id" : "7840916",
                  "_score" : null,
                  "_source" : {
                    "id" : 7840916, 67                     
                        "time" : 1673494355,
                    "user_id" : 20073846,
                    "target_id" : 14016237
                  },
                  "sort" : [
                    7840916
                  ]
                }
              ]
            }
          }
        }
      }
          ...
    ]
  }
}

      2.  性能比较

       collapse 允许基于字段对结果进行折叠。折叠操作是通过每个选择每个折叠键的顶部文档（top hits）来实现的

       不需要每次都在完整的结果集上对为每个折叠主键计算实际的 doc values 值，只对 top hits 这小部分数据操作就可以，因此和 term agg 相比要节省很多内存

       3.  使用collapse注意事项

       1）响应结果中的hits总数表示匹配的文档总数而不是折叠的，去重后的聚合总数是未知的。
       2）用于折叠的字段必须是单值的keyword或numeric字段并开启doc_values（文档值）