2021-测试 以及 tcp 收包参数总结以及收集
收集整理质料如下：
1:网卡硬件-->2 内核缓存队列-->3协议层--->4用户recv使用的buff
转载：https://zhuanlan.zhihu.com/p/52397230
- net.core.optmem_max = 20480
- net.core.rmem_default = 229376
- net.core.rmem_max = 229376
- net.core.wmem_default = 229376
- net.core.wmem_max = 229376
- net.ipv4.igmp_max_memberships = 20
- net.ipv4.tcp_mem = 131072 2097152 8388608
- net.ipv4.tcp_rmem = 4096 87380 6291456
- net.ipv4.tcp_wmem = 4096 16384 4194304
- net.ipv4.udp_mem = 766986 1022650 1533972
- net.ipv4.udp_rmem_min = 4096
- net.ipv4.udp_wmem_min = 4096
tcp_rmem[3]数组表示任何一个TCP连接上的读缓存上限，其中 tcp_rmem[0]表示最小上限， tcp_rmem[1]表示初始上限（注意，它会覆盖适用于所有协议的rmem_default配置）， tcp_rmem[2]表示最大上限
tcp_mem[3]数组就用来设定TCP内存的整体使用状况，所以它的值很大，它的单位是页--4K或者8K！！3个值定义了TCP整体内存的无压力值、压力模式开启阀值、最大使用值；
当TCP内存在tcp_mem[2]之上时，毫无疑问，系统一定在压力模式下，而且此时所有的新TCP缓存分配都会失败；当TCP整体内存小于tcp_mem[0]时，表示系统内存总体无压力；那么新内存的分配一定是成功的。
SO_SNDBUF、SO_RCVBUF都是个体化的设置，----只会影响到设置过的连接，而不会对其他连接生效。SO_SNDBUF表示这个连接上的内核写缓存上限。当设置了SO_SNDBUF时，就相当于划定了所操作的TCP连接上的写缓存能够使用的最大内存。这个值也不是可以由着进程随意设置的，它会受制于系统级的上下限，当它大于上面的系统配置wmem_max（net.core.wmem_max）时，将会被wmem_max替代（同样翻一倍）；而当它特别小时，例如在2.6.18内核中设计的写缓存最小值为2K字节，此时也会被直接替代为2K。
net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭； net.ipv4.tcp_fin_timeout #修改系統默认的 TIMEOUT 时间。 在经过这样的调整之后，除了会进一步提升服务器的负载能力之外，还能够防御小流量程度的DoS、CC和SYN攻击。 此外，如果你的连接数本身就很多，我们可以再优化一下TCP的可使用端口范围，进一步提升服务器的并发能力。依然是往上面的参数文件中，加入下面这些配置： net.ipv4.tcp_keepalive_time = 1200 net.ipv4.ip_local_port_range = 10000 65000 net.ipv4.tcp_max_syn_backlog = 8192 net.ipv4.tcp_max_tw_buckets = 5000 #这几个参数，建议只在流量非常大的服务器上开启，会有显著的效果。一般的流量小的服务器上，没有必要去设置这几个参数。 net.ipv4.tcp_keepalive_time = 1200 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。 net.ipv4.ip_local_port_range = 10000 65000 #表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为10000到65000。（注意：这里不要将最低值设的太低，否则可能会占用掉正常的端口！） net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_max_tw_buckets = 6000 #表示系统同时保持TIME_WAIT的最大数量，如果超过这个数字，TIME_WAIT将立刻被清除并打印警告信息。默 认为180000，改为6000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于 Squid，效果却不大。此项参数可以控制TIME_WAIT的最大数量，避免Squid服务器被大量的TIME_WAIT拖死。 内核其他TCP参数说明： net.ipv4.tcp_max_syn_backlog = 65536 #记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存的系统则是128。 net.core.netdev_max_backlog = 32768 #每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.somaxconn = 32768 #web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的NGX_LISTEN_BACKLOG默认为511，所以有必要调整这个值。 net.core.wmem_default = 8388608 net.core.rmem_default = 8388608 net.core.rmem_max = 16777216 #最大socket读buffer,可参考的优化值:873200 net.core.wmem_max = 16777216 #最大socket写buffer,可参考的优化值:873200 net.ipv4.tcp_timestsmps = 0 #时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。 net.ipv4.tcp_synack_retries = 2 #为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量。 net.ipv4.tcp_syn_retries = 2 #在内核放弃建立连接之前发送SYN包的数量。 #net.ipv4.tcp_tw_len = 1 net.ipv4.tcp_tw_reuse = 1 # 开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接。 net.ipv4.tcp_wmem = 8192 436600 873200 # TCP写buffer,可参考的优化值: 8192 436600 873200 net.ipv4.tcp_rmem = 32768 436600 873200 # TCP读buffer,可参考的优化值: 32768 436600 873200 net.ipv4.tcp_mem = 94500000 91500000 92700000 # 同样有3个值,意思是: net.ipv4.tcp_mem[0]:低于此值，TCP没有内存压力。 net.ipv4.tcp_mem[1]:在此值下，进入内存压力阶段。 net.ipv4.tcp_mem[2]:高于此值，TCP拒绝分配socket。 上述内存单位是页，而不是字节。可参考的优化值是:786432 1048576 1572864 net.ipv4.tcp_max_orphans = 3276800 #系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。 如果超过这个数字，连接将即刻被复位并打印出警告信息。 这个限制仅仅是为了防止简单的DoS攻击，不能过分依靠它或者人为地减小这个值， 更应该增加这个值(如果增加了内存之后)。 net.ipv4.tcp_fin_timeout = 30 #如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒，你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2的危险性比FIN-WAIT-1要小，因为它最多只能吃掉1.5K内存，但是它们的生存期长些。
|
参数（路径+文件） |
描述 |
默认值 |
优化值 |
|
/proc/sys/net/core/rmem_default |
默认的TCP数据接收窗口大小（字节）。 |
229376 |
256960 |
|
/proc/sys/net/core/rmem_max |
最大的TCP数据接收窗口（字节）。 |
131071 |
513920 |
|
/proc/sys/net/core/wmem_default |
默认的TCP数据发送窗口大小（字节）。 |
229376 |
256960 |
|
/proc/sys/net/core/wmem_max |
最大的TCP数据发送窗口（字节）。 |
131071 |
513920 |
|
/proc/sys/net/core/netdev_max_backlog |
在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 |
1000 |
2000 |
|
/proc/sys/net/core/somaxconn |
定义了系统中每一个端口最大的监听队列的长度，这是个全局的参数。 |
128 |
2048 |
|
/proc/sys/net/core/optmem_max |
表示每个套接字所允许的最大缓冲区的大小。 |
20480 |
81920 |
|
/proc/sys/net/ipv4/tcp_mem |
确 定TCP栈应该如何反映内存使用，每个值的单位都是内存页（通常是4KB）。第一个值是内存使用的下限；第二个值是内存压力模式开始对缓冲区使用应用压力 的上限；第三个值是内存使用的上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的BDP可以增大这些值（注意，其单位是内存页而不是字 节）。 |
94011 125351 188022 |
131072 262144 524288 |
|
/proc/sys/net/ipv4/tcp_rmem |
为 自动调优定义socket使用的内存。第一个值是为socket接收缓冲区分配的最少字节数；第二个值是默认值（该值会被rmem_default覆 盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是接收缓冲区空间的最大字节数（该值会被rmem_max覆盖）。 |
4096 87380 4011232 |
8760 256960 4088000 |
|
/proc/sys/net/ipv4/tcp_wmem |
为 自动调优定义socket使用的内存。第一个值是为socket发送缓冲区分配的最少字节数；第二个值是默认值（该值会被wmem_default覆 盖），缓冲区在系统负载不重的情况下可以增长到这个值；第三个值是发送缓冲区空间的最大字节数（该值会被wmem_max覆盖）。 |
4096 16384 4011232 |
8760 256960 4088000 |
|
/proc/sys/net/ipv4/tcp_keepalive_time |
TCP发送keepalive探测消息的间隔时间（秒），用于确认TCP连接是否有效。 |
7200 |
1800 |
|
/proc/sys/net/ipv4/tcp_keepalive_intvl |
探测消息未获得响应时，重发该消息的间隔时间（秒）。 |
75 |
30 |
|
/proc/sys/net/ipv4/tcp_keepalive_probes |
在认定TCP连接失效之前，最多发送多少个keepalive探测消息。 |
9 |
3 |
|
/proc/sys/net/ipv4/tcp_sack |
启用有选择的应答（1表示启用），通过有选择地应答乱序接收到的报文来提高性能，让发送者只发送丢失的报文段，（对于广域网通信来说）这个选项应该启用，但是会增加对CPU的占用。 |
1 |
1 |
|
/proc/sys/net/ipv4/tcp_fack |
启用转发应答，可以进行有选择应答（SACK）从而减少拥塞情况的发生，这个选项也应该启用。 |
1 |
1 |
|
/proc/sys/net/ipv4/tcp_timestamps |
TCP时间戳（会在TCP包头增加12个字节），以一种比重发超时更精确的方法（参考RFC 1323）来启用对RTT 的计算，为实现更好的性能应该启用这个选项。 |
1 |
1 |
|
/proc/sys/net/ipv4/tcp_window_scaling |
启用RFC 1323定义的window scaling，要支持超过64KB的TCP窗口，必须启用该值（1表示启用），TCP窗口最大至1GB，TCP连接双方都启用时才生效。 |
1 |
1 |
|
/proc/sys/net/ipv4/tcp_syncookies |
表示是否打开TCP同步标签（syncookie），内核必须打开了CONFIG_SYN_COOKIES项进行编译，同步标签可以防止一个套接字在有过多试图连接到达时引起过载。 |
1 |
1 |
|
/proc/sys/net/ipv4/tcp_tw_reuse |
表示是否允许将处于TIME-WAIT状态的socket（TIME-WAIT的端口）用于新的TCP连接 。 |
0 |
1 |
|
/proc/sys/net/ipv4/tcp_tw_recycle |
能够更快地回收TIME-WAIT套接字。 |
0 |
1 |
|
/proc/sys/net/ipv4/tcp_fin_timeout |
对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。 |
60 |
30 |
|
/proc/sys/net/ipv4/ip_local_port_range |
表示TCP/UDP协议允许使用的本地端口号 |
32768 61000 |
1024 65000 |
|
/proc/sys/net/ipv4/tcp_max_syn_backlog |
对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字。 |
2048 |
2048 |
|
/proc/sys/net/ipv4/tcp_low_latency |
允许TCP/IP栈适应在高吞吐量情况下低延时的情况，这个选项应该禁用。 |
0 |
|
|
/proc/sys/net/ipv4/tcp_westwood |
启用发送者端的拥塞控制算法，它可以维护对吞吐量的评估，并试图对带宽的整体利用情况进行优化，对于WAN 通信来说应该启用这个选项。 |
0 |
|
|
/proc/sys/net/ipv4/tcp_bic |
为快速长距离网络启用Binary Increase Congestion，这样可以更好地利用以GB速度进行操作的链接，对于WAN通信应该启用这个选项。 |
1 |
fs.file-max 1048576 9999999 所有进程打开的文件描述符数
fs.nr_open 1635590 1635590 单个进程可分配的最大文件数
所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max
单个进程打开的文件描述符数不能超过user limit中nofile的soft limit
nofile的hard limit不能超过/proc/sys/fs/nr_open
两种修改内核参数方法:
1、使用echo value方式直接追加到文件里如echo "1" >/proc/sys/net/ipv4/tcp_syn_retries，但这种方法设备重启后又会恢复为默认值
2、把参数添加到/etc/sysctl.conf中，然后执行sysctl -p使参数生效，永久生效
网卡接受队列和hash值映射关系
以intel的IGB驱动为例，网卡在接收到ipv4 tcp的数据流时，根据指定的字段计算hash值（例如Toeplitz哈希算法），之后将hash值的后7位数值作为索引，到网卡的对照表中找到相应的队列索引，将数据包添加到此队列中。对照表由128个表项组成，每个表项对应一个队列索引。使用ethtool命令可查看和修改对照表，如下的对照表，128个表项平均分成4部分，分别对应着网卡的4个接收队列。即数据流计算得到的hash值如果为0-31，添加到接收队列0：如果为32-63，添加到队列1，依次类推；
ethtool -x eth7
RX flow hash indirection table for m4/1 with 4 RX ring(s): 0: 0 0 0 0 0 0 0 0 8: 0 0 0 0 0 0 0 0 16: 0 0 0 0 0 0 0 0 24: 0 0 0 0 0 0 0 0 32: 1 1 1 1 1 1 1 1 40: 1 1 1 1 1 1 1 1 48: 1 1 1 1 1 1 1 1 56: 1 1 1 1 1 1 1 1 64: 2 2 2 2 2 2 2 2 72: 2 2 2 2 2 2 2 2 80: 2 2 2 2 2 2 2 2 88: 2 2 2 2 2 2 2 2 96: 3 3 3 3 3 3 3 3 104: 3 3 3 3 3 3 3 3 112: 3 3 3 3 3 3 3 3 120: 3 3 3 3 3 3 3 3
