es集群在系统安装过程中:指定es用户访问最大线程数和文件句柄数的参数优化

(一)功能说明:在es集群安装的过程中,需要对Linux的内核参数进行

         max number of threads [3818] for user [es] is too low, increase to at least [4096]

         问题同上,最大线程个数太低。修改配置文件/etc/security/limits.conf(和问题1是一个文件),增加配置

         上面就是要修改es用户的在linux中能够创建的线程数

       

修改系统配置参数

有下面的两种逻辑方式:

方法一:修改root用户max user process
vim /etc/security/limits.conf
root soft nproc 10000
root hard nproc 10000

修改普通用户es  max user process
方法1:
vim /etc/security/limits.conf
es soft nproc 10000
es hard nproc 10000
方法2:
vim /etc/security/limits.d/20-nproc.conf
* soft nproc 4096
root soft nproc unlimited
es soft nproc 10000
es hard nproc 10000

说明:
1.soft为warning值,hard为最大值,*代表匹配所有用户。
2.在limits.conf里配置针对所有用户(*)的max user process的不生效,只能在20-nproc.conf里配置。
3.如果单独对某一用户,如tomcat这种,可以在limits.conf配置文件里单独配置,也可以在20-nproc.conf里配置。
4.如果20-nproc.conf和limits.conf同时配置了如tomcat用户的max user process,系统以20-nproc.conf里的配置值为标准。

/etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置,如果20-nproc.conf和limits.conf同时配置了如tomcat用户的max user process,系统以20-nproc.conf里的配置值为标准。

注意:

一般soft的值会比hard小,也可以设置为相等
/etc/security/limits.d/ 里面配置会覆盖/etc/security/limits.conf 的配置
只有root用户才有权限修改/etc/security/limits.conf
limits.conf没有做设定,则默认值是1024

最好的方法就是在/etc/security/limits.d/20-nproc.conf配置当前用户能够创建的最大线程数

 在配置中有个soft 参数和hard参数,二者的区别在哪里

soft xxx:表示警告的设定,可以超过这个设定的值,但是超过后会有警告
hard xxx:表示严格的设定,不允许超过设定的值

举例:soft 设为1024,hard设为2048,当你使用数在1到1024之间时可以随便使用,1024到2048时会出现警告信息,大于2048时会直接报错

es安装:

2、max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

es中要操作大量的index segment所以,需要在操作系统层面做下面的设置

soft nofile:可打开的文件描述符的最大数(超过会警告)
hard nofile:可打开的文件描述符的最大数(超过会报错)

 es集群安装的时候也需要对这个参数进行优化:max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中,每当程序尝试在内存中映射文件,链接到共享内存段,或者分配堆空间的时候,这些区域将被创建。调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错,因为当进程达到了VMA上线但又只能释放少量的内存给其他的内核进程使用时,操作系统会抛出内存不足的错误。如果你的操作系统在NORMAL区域仅占用少量的内存,那么调低这个值可以帮助释放内存给内核用。

 

不然会报错:

 https://blog.csdn.net/lxw1844912514/article/details/120529627

 

posted on   luzhouxiaoshuai  阅读(171)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
历史上的今天:
2021-04-23 elasticsearch集群在生产上面必看的优化文章
2020-04-23 Spring Cloud重试机制与各组件的重试总结
2018-04-23 3.尚硅谷_MyBatis_HelloWorld.avi
2018-04-23 1.尚硅谷_MyBatis_简介.avi
2018-04-23 09.spring框架整合junit
2018-04-23 08.利用Easymock测试简单的servlet
2018-04-23 07.Easymock的实际应用

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

点击右上角即可分享
微信分享提示