ES查询之聚合函数、分组查询
一、前言
-
聚合函数大家都不陌生，同数据库的聚合函数一样，elasticsearch中也没玩出新花样，所以，这一章相对简单，只需要记得下面几个用法即可：
-
avg
-
max
-
min
-
sum
-
-
聚合的两个主要的概念，分别是 桶 和 指标
-
桶类似就是一个组，在下面的示例中aggs中的起别名，一个别名就是一个桶
-
指标就是对桶内的文档进行统计计算，通常是简单的数学运算(像是min、max、avg、sum）
-
-
聚合操作用到了
aggs关键字，叫做aggs聚合的模板。- 当query和aggs一起存在时，会先执行query的主查询，主查询query执行完后会搜出一批结果，而这些结果才会被aggs拿去做聚合
- 另外要注意aggs后面会先接一层自定义的这个聚合的名字，然后才是接上要使用的聚合桶
- 如果有些情况不在意查询结果是什麽，而只在意aggs的结果，可以把size设为0，如此可以让返回的hits结果集是0，加快返回的速度
- 一个aggs裡可以有很多个聚合，每个聚合彼此间都是独立的。因此可以一个聚合拿来统计数量、一个聚合拿来分析数据、一个聚合拿来计算标准差...，让一次搜索就可以把想要做的事情一次做完
- aggs可以嵌套在其他的aggs裡面，而嵌套的aggs能作用的文档集范围，是其外层的桶所输出的结果集
二、准备数据
PUT test1/_doc/1
{
"name":"顾老二",
"age":30,
"from": "gu",
"desc": "皮肤黑、武器长、性格直",
"tags": ["黑", "长", "直"]
}
PUT test1/_doc/2
{
"name":"大娘子",
"age":18,
"from":"sheng",
"desc":"肤白貌美，娇憨可爱",
"tags":["白", "富","美"]
}
PUT test1/_doc/3
{
"name":"龙套偏房",
"age":22,
"from":"gu",
"desc":"mmp，没怎么看，不知道怎么形容",
"tags":["造数据", "真","难"]
}
PUT test1/_doc/4
{
"name":"石头",
"age":29,
"from":"gu",
"desc":"粗中有细，狐假虎威",
"tags":["粗", "大","猛"]
}
PUT test1/_doc/5
{
"name":"魏行首",
"age":25,
"from":"广云台",
"desc":"仿佛兮若轻云之蔽月,飘飘兮若流风之回雪,mmp，最后竟然没有嫁给顾老二！",
"tags":["闭月","羞花"]
}
三、avg
- 现在的需求是查询
from是gu的人的平均年龄。
GET test1/_doc/_search
{
"query": {
"match": {
"from": "gu"
}
},
"aggs": {
"my_avg": {
"avg": {
"field": "age"
}
}
},
"_source": ["name", "age"]
}
-
上例中，首先匹配查询
from是gu的数据。在此基础上做查询平均值的操作，这里就用到了聚合函数，其语法被封装在aggs中，而my_avg则是为查询结果起个别名（类似select avg(age) as my_avg），封装了计算出的平均值。那么，要以什么属性作为条件呢？是age年龄，查年龄的什么呢？是avg，查平均年龄。 -
返回结果如下：
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 0.6931472,
"hits" : [
{
"_index" : "test1",
"_type" : "doc",
"_id" : "4",
"_score" : 0.6931472,
"_source" : {
"name" : "石头",
"age" : 29
}
},
{
"_index" : "test1",
"_type" : "doc",
"_id" : "1",
"_score" : 0.2876821,
"_source" : {
"name" : "顾老二",
"age" : 30
}
},
{
"_index" : "test1",
"_type" : "doc",
"_id" : "3",
"_score" : 0.2876821,
"_source" : {
"name" : "龙套偏房",
"age" : 22
}
}
]
},
"aggregations" : {
"my_avg" : {
"value" : 27.0
}
}
}
-
上例中，在查询结果的最后是平均值信息，可以看到是27岁。
-
虽然我们已经使用
_source对字段做了过滤，但是还不够。我不想看都查到了哪些条数据，只想看统计的平均值怎么办？别忘了size，size和from只对hits内的结果条数有影响，聚合函数的结果不在size和from的控制内
GET test1/_doc/_search
{
"query": {
"match": {
"from": "gu"
}
},
"aggs": {
"my_avg": {
"avg": {
"field": "age"
}
}
},
"size": 0,
"_source": ["name", "age"]
}
-
上例中，只需要在原来的查询基础上，增加一个
size就可以了，输出几条结果，我们写上0，就是输出0条查询结果。 -
查询结果如下：
{
"took" : 8,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"my_avg" : {
"value" : 27.0
}
}
}
- 查询结果中，我们看
hits下的total值是3，说明有三条符合结果的数据。最后面返回平均值是27。
四、max
- 那怎么查最大值呢？
GET test1/_doc/_search
{
"query": {
"match": {
"from": "gu"
}
},
"aggs": {
"my_max": {
"max": {
"field": "age"
}
}
},
"size": 0
}
-
上例中，只需要在查询条件中将
avg替换成max即可。 -
返回结果如下：
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"my_max" : {
"value" : 30.0
}
}
}
- 在返回的结果中，可以看到年龄最大的是30岁。
五、min
- 那怎么查最小值呢？
GET test1/_doc/_search
{
"query": {
"match": {
"from": "gu"
}
},
"aggs": {
"my_min": {
"min": {
"field": "age"
}
}
},
"size": 0
}
-
最小值则用
min表示。 -
返回结果如下：
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"my_min" : {
"value" : 22.0
}
}
}
- 返回结果中，年龄最小的是22岁。
六、sum
- 那么，要是想知道他们的年龄总和是多少怎么办呢？
GET test1/_doc/_search
{
"query": {
"match": {
"from": "gu"
}
},
"aggs": {
"my_sum": {
"sum": {
"field": "age"
}
}
},
"size": 0
}
- 上例中，求和用
sum表示。
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"my_sum" : {
"value" : 81.0
}
}
}
- 从返回的结果可以发现，年龄总和是81岁。
七、多个聚合和嵌套聚合
-
一个aggs裡可以有很多个聚合，每个聚合彼此间都是独立的，因此可以一个聚合拿来统计数量、一个聚合拿来分析数据、一个聚合拿来计算标准差...，让一次搜索就可以把想要做的事情一次做完
-
aggs可以嵌套在其他的aggs裡面，而嵌套的桶能作用的文档集范围，是外层的桶所输出的结果集
GET 127.0.0.1/mytest/_doc/_search
{
"query": { ... },
"size": 0,
"aggs": {
"name1": { //aggs后面接著的是一个自定义的name
"桶1": { ... } //再来才是接桶
},
"name2": { //一个aggs裡可以有很多聚合
"桶2": { ... }
},
"name3": {
"桶3": {...},
"aggs": { //aggs可以嵌套在别的aggs裡面
"name4": { //记得使用aggs需要先自定义一个name
"桶4": { ... } //name4的桶4作用的文档是name3的桶3的结果
}
}
}
}
}
七、分组查询
-
分组查询用到了关键字
range -
现在我想要查询所有人的年龄段，并且按照
15~20，20~25,25~30分组，并且算出每组的平均年龄。 -
分析需求，首先我们应该先把分组做出来。
GET test1/_doc/_search
{
"size": 0,
"query": {
"match_all": {}
},
"aggs": {
"age_group": {
"range": {
"field": "age",
"ranges": [
{
"from": 15,
"to": 20
},
{
"from": 20,
"to": 25
},
{
"from": 25,
"to": 30
}
]
}
}
}
}
- 上例中，在
aggs的自定义别名age_group中，使用range来做分组，field是以age为分组，分组使用ranges来做，from和to是范围，我们根据需求做出三组。
{
"took" : 3,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 5,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"age_group" : {
"buckets" : [
{
"key" : "15.0-20.0",
"from" : 15.0,
"to" : 20.0,
"doc_count" : 1
},
{
"key" : "20.0-25.0",
"from" : 20.0,
"to" : 25.0,
"doc_count" : 1
},
{
"key" : "25.0-30.0",
"from" : 25.0,
"to" : 30.0,
"doc_count" : 2
}
]
}
}
}
-
返回的结果中可以看到，已经拿到了三个分组。
doc_count为该组内有几条数据，此次共分为三组，查询出1+1+2共4条内容。还有一条数据的age属性值是30，不在分组的范围内！ -
那么接下来，我们就要对每个小组内的数据做平均年龄处理。
GET test1/_doc/_search
{
"size": 0,
"query": {
"match_all": {}
},
"aggs": {
"age_group": {
"range": {
"field": "age",
"ranges": [
{
"from": 15,
"to": 20
},
{
"from": 20,
"to": 25
},
{
"from": 25,
"to": 30
}
]
},
"aggs": {
"my_avg": {
"avg": {
"field": "age"
}
}
}
}
}
}
- 上例中，在分组下面，我们再使用一个
aggs（相当于嵌套aggs）对分组的age做平均数处理，这样就可以了。
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 5,
"max_score" : 0.0,
"hits" : [ ]
},
"aggregations" : {
"age_group" : {
"buckets" : [
{
"key" : "15.0-20.0",
"from" : 15.0,
"to" : 20.0,
"doc_count" : 1,
"my_avg" : {
"value" : 18.0
}
},
{
"key" : "20.0-25.0",
"from" : 20.0,
"to" : 25.0,
"doc_count" : 1,
"my_avg" : {
"value" : 22.0
}
},
{
"key" : "25.0-30.0",
"from" : 25.0,
"to" : 30.0,
"doc_count" : 2,
"my_avg" : {
"value" : 27.0
}
}
]
}
}
}
-
在结果中，我们可以清晰的看到每组的平均年龄（
my_avg的value中）。 -
注意：聚合函数的使用，一定是先查出结果，然后才再对结果进行聚合函数处理
