tcp丢包的排查
丢包的排查:
参考资料:1、https://blog.csdn.net/maimang1001/article/details/121786580
2、https://blog.csdn.net/m0_67645544/article/details/124574099
1、 网卡丢包
a) ifconfig
b) 查看网卡丢包统计(虚拟机看不到网卡信息):ethtool –S eth0
网卡(NIC)读取到数据帧后,写入网卡内部的数据缓冲区(Ring Buffer),再生成中断,触发内核从Ring Buffer中读取数据,如果该数据缓冲区不够用,新来的包就会被丢弃,上述两图中就会有显示。
查看eth0网卡Ring Buffer最大值和当前设置
ethtool –g eth0
修改Ring Buffer大小
ethtool –G eth0 rx 4096 tx 4096
2、 netdev_max_backlog溢出
netdev_max_backlog 是内核从NIC(网卡)收到包后,交由协议栈处理之前的缓冲队列。每个CPU核都有一个backlog队列,当这个队列不够用溢出时,数据包将被丢弃。
cat /proc/net/softnet_stat 查看是否发生了netdev_max_backlog溢出,其中: 每一行代表每一个CPU核的状态统计,
第一列代表中断处理程序收到的包总数,
第二列即代表由于 netdev_max_backlog 队列溢出而被丢弃的包总数
netdev_max_backlog 的默认值是 1000,修改大小方法为:
/etc/sysctl.conf里加上net.core.netdev_max_backlog=2000
再执行sysctl –p
3、 路由丢包
netsata –s|grep route 查看路由丢包
ip r 命令查看ip对应路由表
rp_filter反向路由过滤丢包:反向路由过滤机制是Linux通过反向路由查询,检查收到的数据包源IP是否可路由(Loose mode)、是否最佳路由(Strict mode),如果没有通过验证,则丢弃数据包,设计的目的是防范IP地址欺骗攻击。
rp_filter 提供三种模式供配置:
0 - 不验证
1 - RFC3704定义的严格模式:对每个收到的数据包,查询反向路由,如果数据包入口和反向路由出口不一致,则不通过
2 - RFC3704定义的松散模式:对每个收到的数据包,查询反向路由,如果任何接口都不可达,则不通过
可通过修改/proc/sys/net/ipv4/conf/eth0/rp_filter值配置此项
4、 防火墙拦截
检查是否是防火墙引起的丢包, 可以停掉iptables和firewalld, 查看命令systemctl status iptables.service / systemctl status firewalld.service
停止命令 systemctl stop iptables.service / systemctl stop firewalld.service
5、连接跟踪表溢出
kernel 用 ip_conntrack 模块来记录 iptables 网络包的状态,并把每条记录保存到 table 里(这个 table 在内存里,可以通过 /proc/net/ip_conntrack 查看当前已经记录的总数),如果网络状况繁忙,比如高连接,高并发连接等会导致逐步占用这个 table 可用空间,一般这个 table 很大不容易占满并且可以自己清理,table 的记录会一直呆在 table 里占用空间直到源 IP 发一个 RST 包,但是如果出现被攻击、错误的网络配置、有问题的路由/路由器、有问题的网卡等情况的时候,就会导致源 IP 发的这个 RST 包收不到,这样就积累在 table 里,越积累越多直到占满。无论,哪种情况导致table变满,满了以后就会丢包,出现外部无法连接服务器的情况。内核会报如下错误信息:kernel: ip_conntrack: table full, dropping packet;
查看当前连接跟踪数 :
cat /proc/sys/net/netfilter/nf_conntrack_max
修改如下值:
net.netfilter.nf_conntrack_max = 262144 #可以增大跟踪的条数
net.netfilter.nf_conntrack_tcp_timeout_established = 432000 #减小跟踪有效时间
6、 tcp连接跟踪安全检查
丢包原因:由于连接没有断开,但服务端或者client之前出现过发包异常等情况(报文没有经过连接跟踪模块更新窗口计数),没有更新合法的 window 范围,导致后续报文安全检查被丢包;协议栈用 nf_conntrack_tcp_be_liberal 来控制这个选项,默认是1-不开启:
- 1:关闭,只有不在tcp窗口内的rst包被标志为无效;
- 0:开启; 所有不在tcp窗口中的包都被标志为无效;
7、 系统网络内存不足
系统内存不足,创建新分片队列失败,netstat -s |grep reassembles查看是否丢包
增大系统网络内存修改项:
net.core.rmem_default
net.core.rmem_max
net.core.wmem_default
8、 TIME_WAIT过多
服务端在高并发的情况, 主动关闭连接, 会出现大量的socket处于timewait状态,timewait数目超过tcp_max_tw_buckets(默认是65536)值后,新来的连接直接进入close状态。
解决方法:
a、tw_reuse,tw_recycle 必须在客户端和服务端 timestamps 开启时才管用(默认打开)
b、tw_reuse 只对客户端起作用,开启后客户端在1s内回收;
c、tw_recycle 对客户端和服务器同时起作用,开启后在 3.5*RTO 内回收,RTO 200ms~ 120s具体时间视网络状况。内网状况比 tw_reuse 稍快,公网尤其移动网络大多要比 tw_reuse 慢,优点就是能够回收服务端的 TIME_WAIT 数量;在服务端,如果网络路径会经过NAT节点,不要启用 net.ipv4.tcp_tw_recycle,会导致时间戳混乱,引起其他丢包问题;
d、调整 tcp_max_tw_buckets 大小
9、时间戳异常
服务端开启快速回收机制后, net.ipv4.tcp_tw_recycle为1(前提tcp_timestamps为1),NAT环境里的多个客户端连接服务端时, 因为时间戳校验导致会导致SYN包被丢弃。通过命令netstat –s|grep rejects查看确认丢包。
tcp_timestamps开启后,linux内核会开启 PAWS 机制。PAWS是为了防止TCP序列号绕回,会维护最近一次收到数据包的时间戳(Recent TSval),如果接下来的数据包时间戳小于这个,即不是递增的时间戳,就会直接丢弃这个数据包。这种情况下是用「IP + 端口」四元组区分连接。
而开启timewait快速回收后,PAWS检查是针对IP做区分,这样同一个NAT环境里的不同客户端连接都会被检查同一时间戳
10、tcp全连接队列长度不够
tcp连接,linux内核维护一个半队列和一个全连接队列,
半连接队列中存放等待完成3次握手的连接,这些连接的状态为Syn_RECV ,该队列长度为max(64,/proc/sys/net/ipv4/tcp_max_syn_backlog)
全连接队列存放完成3次握手等待accpet的连接,此时的状态已经是ESTABLISHED,这个队列的长度min(backlog, somaxconn),backlog 的值则应该是由 int listen(int sockfd, int backlog) 中的第二个参数指定,somaxconn由net.core.somaxconn决定
可以通过命令netstat –s|grep listen 查看是否丢包