Elasticsearch - scoll分批查询
场景: 下载某一个索引中的一亿条数据
scoll搜索会在第一次搜索的时候,保存一个当时的视图快照,之后只会基于该旧的视图快照提供数据搜索,如果这个期间数据变更,是不会让用户看到的。
每次发送scroll请求,我们还需要指定一个scoll参数,指定一个时间窗口,每次搜索请求只要在这个时间窗口内能完成就可以了。
查询方式:
大致流程:通过scroll方式在1分钟内请求500条数据,得到数据同时会返回一个"_scroll_id",通过"GET /_search/scroll" + "_scroll_id"请求后续数据
# 通过scroll方式请求500条数据
GET /book/_search?scroll=1m
{
"query": {
"match_all": {}
},
"size": 500
}
GET /_search/scroll
{
"scroll": "1m",
"scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFmIydUJSTTlTU25xMlZhWVFJNnUxZXcAAAAAAABYIhY1Ui1ReDRlTlQ5RzBQZXB0cUZTMUl3"
}
分类:
Elasticsearch
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧