Elasticsearch(ES)的滚动搜索与批量操作
1. 概述
今天我们来聊一下Elasticsearch(ES)的滚动搜索与批量操作。
2. Elasticsearch(ES)的滚动搜索
2.1 概述
滚动搜索我们经常能够用到,例如:推荐列表,此类列表通常不需要分页,而是一直上滑刷新。
滚动搜索的原理是根据固定的排序规则先加载一部分数据,当用户再刷新时,从上次加载的最后一条数据的位置再加载同样数量的数据,下一次刷新同理。
2.2 第一次搜索请求
第一次搜索的请求比较特殊,与之后的搜索请求的url和参数不同。
参数中的 scroll=1m,是指滚动搜索的下一次搜索,必须在1分钟之内。
size是每次滚动显示的条数。
POST http://192.168.1.8:9200/index_user/_search?scroll=1m
参数:
{ "query": { "match_all": {} }, "sort": [ { "age": "desc" } ], "size": 1 }
响应:
{ "_scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG0WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==",
"took": 7, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 3, "relation": "eq" }, "max_score": null, "hits": [ { "_index": "index_user", "_type": "_doc", "_id": "2", "_score": null, "_source": { "user_id": "2", "name": "夏维尔", "login_name": "xwe", "age": 28, "birthday": "1992-06-06", "desc": "我是一名高级开发经理,每天坐地铁上班,在北京住,从不堵车", "head_url": "https://www.zhuifengren.cn/img/xwe.jpg" }, "sort": [ 28 ] } ] } }
2.3 之后的搜索
参数中 scroll_id 是第一次搜索返回的。
POST http://192.168.1.8:9200/_search/scroll
参数:
{ "scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG0WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==", "scroll":"1m" }
响应:
{ "_scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHIWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==", "took": 12, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 6, "relation": "eq" }, "max_score": null, "hits": [ { "_index": "index_user", "_type": "_doc", "_id": "1", "_score": null, "_source": { "user_id": "1", "name": "僵尸猎手", "login_name": "jsls", "age": 25, "birthday": "1990-03-01", "desc": "我是一名房产经纪人,现在转行了,目前是一名运输工人", "head_url": "https://www.zhuifengren.cn/img/jsls.jpg" }, "sort": [ 25 ] } ] } }
3. Elasticsearch(ES)的文档批量操作
3.1 批量依据ID查询文档
POST http://192.168.1.8:9200/index_user/_doc/_mget
参数:
{ "ids":["1", "3"] }
3.2 批量新增文档1
注意:参数的最后一行,需要以回车('\n')结尾。
其中一条报错,不会影响其他数据正常执行。
如果新增数据的id已存在会报错。
POST http://192.168.1.8:9200/_bulk
参数:
{"create":{"_index":"index_user", "_type":"_doc", "_id": "5"}} {"user_id":"5", "name":"姓名5"} {"create":{"_index":"index_user", "_type":"_doc", "_id": "6"}} {"user_id":"6", "name":"姓名6"} {"create":{"_index":"index_user", "_type":"_doc", "_id": "7"}} {"user_id":"6", "name":"姓名7"}
3.3 批量新增文档2
批量新增文档的第二种写法。
POST http://192.168.1.8:9200/index_user/_doc/_bulk
参数:
{"create":{"_id": "5"}} {"user_id":"5", "name":"姓名5"} {"create":{"_id": "6"}} {"user_id":"6", "name":"姓名6"} {"create":{"_id": "7"}} {"user_id":"6", "name":"姓名7"}
3.4 批量新增或更新文档
当id不存在,会新增文档,id已存在,会更新文档。
POST http://192.168.1.8:9200/index_user/_doc/_bulk
参数:
{"index":{"_id": "5"}} {"user_id":"5", "name":"姓名5_1"} {"index":{"_id": "6"}} {"user_id":"6", "name":"姓名6_1"} {"index":{"_id": "8"}} {"user_id":"8", "name":"姓名8_1"}
3.5 批量局部更新文档
当id不存在,会报错。
POST http://192.168.1.8:9200/index_user/_doc/_bulk
参数:
{"update":{"_id": "5"}} {"doc": {"user_id":"5", "name":"姓名5_2"}} {"update":{"_id": "6"}} {"doc": {"user_id":"6", "name":"姓名6_2"}} {"update":{"_id": "9"}} {"doc": {"user_id":"9", "name":"姓名9_1"}}
3.6 批量删除文档
POST http://192.168.1.8:9200/index_user/_doc/_bulk
参数:
{"delete":{"_id": "5"}} {"delete":{"_id": "6"}}
3.7 其他说明
批量新增、更新、删除的操作,可以在一次请求完成。
每次批量新增、更新、删除的请求,请求体不宜过大,控制在1000条之内。
4. 综述
今天简单聊了一下 Elasticsearch(ES)的滚动搜索与批量操作,希望可以对大家的工作有所帮助。
欢迎帮忙点赞、评论、加关注 :)
关注追风人聊Java,每天更新Java干货。
scroll_id