linux系统调优参数说明

亲测调试的参数

# 避免放大攻击
net.ipv4.icmp_echo_ignore_broadcasts = 1

# 开启恶意icmp错误消息保护
net.ipv4.icmp_ignore_bogus_error_responses = 1

# 开启SYN洪水攻击保护
net.ipv4.tcp_syncookies = 1

# 增加系统文件描述符限制
fs.file-max = 65535

# 增加TCP最大缓冲区大小
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 87380 8388608

# # 增加Linux自动调整TCP缓冲区限制
# # 最小，默认和最大可使用的字节数
# # 最大值不低于4MB，如果你使用非常高的BDP路径可以设置得更高
#
# # Tcp窗口等
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.core.netdev_max_backlog = 5000

#启用转发应答，可以进行有选择应答（SACK）从而减少拥塞情况的发生
net.ipv4.tcp_fack=1
#TCP时间戳（会在TCP包头增加12个字节），以一种比重发超时更精确的方法,提高性能
net.ipv4.tcp_timestamps=1

# 对于tcp失效链接占用系统资源的优化，加快资源回收效率
net.ipv4.tcp_keepalive_time = 120 # 链接有效时间
net.ipv4.tcp_keepalive_intvl = 30 # tcp未获得相应时重发间隔
net.ipv4.tcp_keepalive_probes = 3 # 重发数量

# 用来限制监听(LISTEN)队列最大数据包的数量，超过这个数量就会导致链接超时或者触发重传机制
net.core.somaxconn= 32768

vm.min_free_kbytes = 2058
# linux除非没有足够内存时才使用交换分区
vm.swappiness = 0

 

LINUX系统参数调优

linux系统调优包括两个文件，一个是limits.conf文件，一个是sysctl.conf文件，这两个文件分别在/etc/secriuty/limits.conf和/etc/sysctl.conf下，具体修改内容如下：

        vi /etc/security/limits.conf
        * soft nproc 11000 #限制最多打开的软件数
        * hard nproc 11000 #限制打开软件的最多进程数
        * soft nofile 655350#限制最多打开的文件数
        * hard nofile 655350#限制最多运行的进程数，一般设置为65535


        #优化TCP
        vi /etc/sysctl.conf
        #禁用包过滤功能
        net.ipv4.ip_forward = 0  
        #启用源路由核查功能
        net.ipv4.conf.default.rp_filter = 1  
        #禁用所有IP源路由
        net.ipv4.conf.default.accept_source_route = 0  
        #使用sysrq组合键是了解系统目前运行情况，为安全起见设为0关闭
        kernel.sysrq = 0  
        #控制core文件的文件名是否添加pid作为扩展
        kernel.core_uses_pid = 1  
        #开启SYN Cookies，当出现SYN等待队列溢出时，启用cookies来处理
        net.ipv4.tcp_syncookies = 1  
        #每个消息队列的大小（单位：字节）限制 重要
        kernel.msgmnb = 65536  
        #整个系统最大消息队列数量限制 重要
        kernel.msgmax = 65536  
        #单个共享内存段的大小（单位：字节）限制，计算公式64G*1024*1024*1024(字节)
        kernel.shmmax = 68719476736  
        #所有内存大小（单位：页，1页 = 4Kb），计算公式16G*1024*1024*1024/4KB(页)
        kernel.shmall = 4294967296  
        #timewait的数量，默认是180000
        net.ipv4.tcp_max_tw_buckets = 6000  
        #开启有选择的应答
        net.ipv4.tcp_sack = 1  
        #支持更大的TCP窗口. 如果TCP窗口最大超过65535(64K), 必须设置该数值为1
        net.ipv4.tcp_window_scaling = 1  
        #TCP读buffer
        net.ipv4.tcp_rmem = 4096 131072 1048576
        #TCP写buffer
        net.ipv4.tcp_wmem = 4096 131072 1048576   
        #为TCP socket预留用于发送缓冲的内存默认值（单位：字节）
        net.core.wmem_default = 8388608
        #为TCP socket预留用于发送缓冲的内存最大值（单位：字节）
        net.core.wmem_max = 16777216  
        #为TCP socket预留用于接收缓冲的内存默认值（单位：字节）  
        net.core.rmem_default = 8388608
        #为TCP socket预留用于接收缓冲的内存最大值（单位：字节）
        net.core.rmem_max = 16777216
        #每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目 重要
        net.core.netdev_max_backlog = 262144  
        #web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的                         
        #系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。这个限制仅仅是为了防止简单的DoS攻        
        击，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)
         net.ipv4.tcp_max_orphans = 3276800  
        #记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存 
        的系统则是128
        net.ipv4.tcp_max_syn_backlog = 262144  
        #时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异 
        常”的数据包。这里需要将其关掉
        net.ipv4.tcp_timestamps = 0  
        #为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第 
        二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量
       net.ipv4.tcp_synack_retries = 1  
       #在内核放弃建立连接之前发送SYN包的数量
        net.ipv4.tcp_syn_retries = 1  
        #开启TCP连接中time_wait sockets的快速回收
        net.ipv4.tcp_tw_recycle = 1  
        #开启TCP连接复用功能，允许将time_wait sockets重新用于新的TCP连接（主要针对time_wait连接）重要
        net.ipv4.tcp_tw_reuse = 1  

        net.ipv4.tcp_fin_timeout = 15  
        #表示当keepalive起用的时候，TCP发送keepalive消息的频度（单位：秒） 重要
        net.ipv4.tcp_keepalive_time = 30  
        #对外连接端口范围
        net.ipv4.ip_local_port_range = 2048 65000
        #表示文件句柄的最大数量
        fs.file-max = 102400


####################################

1. Ulimit配置

操作系统默认只能打开1024个文件，打开的文件超过这个数发现程序会有“too many open files”的错误，1024对于大数据系统来说显然是不够的，如果不设置，基本上整个大数据系统是“不可用的”，根本不能用于生产环境。
配置方法如下：
echo "* soft nofile 128000" >> /etc/security/limits.conf
echo "* hard nofile 128000" >> /etc/security/limits.conf
echo "* soft nproc 128000" >> /etc/security/limits.conf
echo "* hard nproc 128000" >> /etc/security/limits.conf

【修改建议：强烈建议修改，无影响】

2、swap 问题

让系统尽量不使用swap，如果按照默认配置为60，则容易导致内存还够的情况下使用swap，有可能导致jvm的gc回收处于swap的内存，造成一系列超时问题。
不是不能再使用swap，只是尽量不使用swap。

echo "vm.swappiness=1" >> /etc/sysctl.conf
sysctl -p
sysctl -a|grep swappiness

【修改建议：强烈建议修改，无影响】

3、内存映射数量限制问题

如果solr内存映射过多，会超出系统限制的个数65530，导致solr问题。
vi /etc/sysctl.conf
vm.max_map_count=262144
sysctl -p
【修改建议：强烈建议修改，无影响】

4、 监听队列大小

tcp连接的时候 listen监听队列的大小默认为128.
echo " net.core.somaxconn = 32768 " >> /etc/sysctl.conf
sysctl -p
sysctl -a|grep somaxconn
【修改建议： 一般，无影响】

5、透明大页问题

在centos7的系统版本中，透明大页这种本来为提高性能的手段，会系统负载高的时候，造成系统反复重启。
所以建议关闭。

1）查看是否启用：
[root@localhost ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never

[always]为启动。
2）停止方法：
1、第一种方法：对于centos7来说：【临时修改可以直接用下面两条命令】
更改：/etc/rc.d/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
修改权限： chmod +x /etc/rc.d/rc.local

2、第二种方法：
修改 /etc/grub.conf 重启后生效。
添加：transparent_hugepage=never
举个例子：
For example:

title Oracle Linux Server (2.6.32-300.25.1.el6uek.x86_64)
root (hd0,0)
kernel /vmlinuz-2.6.32-300.25.1.el6uek.x86_64 ro root=LABEL=/ transparent_hugepage=never
initrd /initramfs-2.6.32-300.25.1.el6uek.x86_64.img

【修改建议：建议修改，对系统性能有点影响】

6、内存分配策略 overcommit_memory

[root@localhost ~]# cat /proc/sys/vm/overcommit_memory
0
内核参数overcommit_memory 它是 内存分配策略 可选值：0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
2， 表示内核允许分配超过所有物理内存和交换空间总和的内存
【建议设置为0，目前环境为0 不用修改】

7、NUMA参数问题

numa为一种架构模式，就是内存和cpu组绑定，提升总线通信带宽。
配置不当容易造成明明内存很多，但是却在使用swap问题。

1、查看是否开启NUMA
通过命令： grep -i numa /var/log/dmesg
如果输出:No NUMA configuration found 则没有开启，否则是开启了NUMA
我们主机显示：
[ 3.175740] pci_bus 0000:00: on NUMA node 0
[ 3.180438] pci_bus 0000:10: on NUMA node 1
[ 3.185192] pci_bus 0000:20: on NUMA node 2
[ 3.189191] pci_bus 0000:30: on NUMA node 3
[ 3.191694] pci_bus 0000:40: on NUMA node 4
[ 3.194062] pci_bus 0000:50: on NUMA node 5
[ 3.198240] pci_bus 0000:60: on NUMA node 6
[ 3.200434] pci_bus 0000:70: on NUMA node 7

表明开启了NUMA。

2、查看分配策略
cat /proc/sys/vm/zone_reclaim_mode

目前环境为0 ，建议为0 不用修改。
当某个节点可用内存不足时：
1、如果为0的话，那么系统会倾向于从其他节点分配内存
2、如果为1的话，那么系统会倾向于从本地节点回收Cache内存多数时候

8、时钟同步

建议使用 chronyc 进行时钟同步，目前已经做了。

9、关闭SELINUX

1）查看：
/etc/selinux/config
2）修改
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

10、禁用IPV6

echo -e "NETWORKING_IPV6=no" >> /etc/sysconfig/network
echo -e "alias net-pf-10 off\noptions ipv6 disable=1" > /etc/modprobe.d/disable_ipv6.conf
service network restart

内核调优参数

net.ipv4.ip_forward = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
fs.inotify.max_user_instances = 655350
fs.inotify.max_user_watches = 655350

######内核内存优化#################

vm.dirty_background_bytes=0
vm.dirty_background_ratio=10
vm.dirty_bytes=0
vm.dirty_ratio=20
vm.dirty_expire_centisecs=3000
vm.dirty_writeback_centisecs=500
vm.swappiness=60
vm.vfs_cache_pressure=100