elasticsearch from + size must be less than or equal to: [10000] but was [100000]
说明:当分页查询时,默认最大总数是10000(from+size<=10000),当我现在业务需要查询最大100000条时,就报错了。
方案1:可以为某个es放开到指定的返回总数,也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出,elasticsearch重启又会恢复默认10000
基于特定索引生效配置
put <index_name>/_settings { "index.max_result_window":<number> }
基于全局生效配置
put _all/_settings { "index.max_result_window":<number> }
查询直接使用 get <index_name>/_settings 如下所示:
get sku_goods/_settings 查询结果: { "sku_goods" : { "settings" : { "index" : { "refresh_interval" : "1s", "number_of_shards" : "6", "provided_name" : "sku_goods", "max_result_window" : "20000000", "creation_date" : "1688377089617", "number_of_replicas" : "1", "uuid" : "0MwkqyZjQNqlCZvD_2nroA", "version" : { "created" : "7040099" } } } } }
方案2:修改配置文件elasticsearch.yml,增加下列配置,并重启elasticsearch。
index.max_result_window: 100000000
方案3:scroll 游标
ES支持scroll滚屏查询,不过根据ES官网的描述,scroll查询是很耗性能的方式,不建议在实时查询中运用。官方已不推荐使用滚动查询进行深度分页查询,因为无法保存索引状态。
方案4:search_after查询
这里官方推荐的解决大型搜索引擎场景下深度分页问题,search_after有点类似scroll,但是和scroll又不一样,它提供一个活动的游标,通过上一次查询最后一条数据来进行下一次查询。他的一些要求:
1)不支持向前搜索,只能向后执行
2) 每次只能向后搜索1页数据
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
2018-08-24 mysql 开发进阶篇系列 29 数据库二进制包安装