SYN flooding引发的网络故障

故障现象：

1.应用无法通过外网访问，应用服务器所在的内网网段之间(web和db数据库之间访问丢包严重)不能互相访问
其他网段正常

2.怀疑是网络设备问题，将连接该网段设备的交换机重启后故障依旧，通过查看个端口的IP报文数据
发现28号口疑似出现环路现象，接收INPUT数据大大超出发送OUTPUT数据

28号口连接的是OA服务器，OA服务器是一台放在centos6.3下的apache web服务器

怀疑连接该服务器端口或者网线有问题，更换网线和交换机接口后问题依旧

3.拔掉该机器的网线后发现内网恢复正常，问题出在OA服务器上

但单台服务器引起类似环路问题令人费解

4.重启服务器后内网恢复正常

5.通过查看该OA服务器的日志/ var/log/messages 发现了部分报错日志：

localhost kernel: possible SYN flooding on port 8888. Sending cookies

可能是遭到了syn flood流量恶意访问

=======================================

SYN Flood是当前最流行的DoS（拒绝服务攻击）与DDoS（分布式拒绝服务攻击）的方式之一，这是一种利用TCP协议缺陷，发送大量伪造的TCP连接请求，常用假冒的IP或IP号段发来海量的请求连接的第一个握手包（SYN包），被攻击服务器回应第二个握手包（SYN+ACK包），因为对方是假冒IP，对方永远收不到包且不会回应第三个握手包。导致被攻击服务器保持大量SYN_RECV状态的“半连接”，并且会重试默认5次回应第二个握手包，塞满TCP等待连接队列，资源耗尽（CPU满负荷或内存不足），让正常的业务请求连接不进来。

SYN攻击是最常见又最容易被利用的一种攻击手法，也应该算为DDOS攻击的一种，我们都知道，TCP协议有一个缺陷，华三交换机是经过三次握手后面需要等待确认，发送很多这样的连接通信数据包请求华三交换机，使得CPU资源和内存被耗尽，SYN攻击不但影响着网速和路由器，还对主机本身也产生影响，这种攻击威力强大，不管对方是什么系统，只要这些系统打开了TCP这个端口服务华三交换机就可以进行攻击。如果在配合IP欺骗，这种攻击方式会达到非常好的效果。

此次处攻击的对象为OA服务器由两台centos组成，OA系统本身没有什么大的影响，通过内网可以继续访问。流量同时打在了连接OA系统的交换机上，该交换机性能较差，导致同网段的windows服务器如tomcat web服务和sqlserver数据库服务器收到牵连掉包验证而不能正常提供服务，可能是windows服务器对网络的要求比较高，此时应该更换交换机

后续诊断：

检查系统syslog：

# tail -f /var/log/messages
Feb 23 09:48:15 localhost kernel: possible SYN flooding on port 8888. Sending cookies

检查连接数增多，并且SYN_RECV 连接特别多：
# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

TIME_WAIT 16855
CLOSE_WAIT 21
SYN_SENT 99
FIN_WAIT1 229
FIN_WAIT2 113
ESTABLISHED 8358
SYN_RECV 48965
CLOSING 3
LAST_ACK 313

根据经验，正常时检查连接数如下：
# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

TIME_WAIT 612
CLOSE_WAIT 2
FIN_WAIT1 3
FIN_WAIT2 535
ESTABLISHED 257
SYN_RECV 4

应急处理

根据netstat查看到的对方IP特征：
# netstat -na |grep SYN_RECV|more

利用iptables临时封掉最大嫌疑攻击的IP或IP号段，例如对方假冒173.*.*.*号段来攻击，短期禁用173.*.*.*这个大号段（要确认小心不要封掉自己的本地IP了！）
# iptables -A INPUT -s 173.0.0.0/8 -p tcp –dport 80 -j DROP

再分析刚才保留的罪证，分析业务，用iptables解封正常173.*.*.*号段内正常的ip和子网段。这样应急处理很容易误伤，甚至可能因为封错了导致ssh登陆不了服务器，并不是理想方式。

tcp_synack_retries = 0是关键，表示回应第二个握手包（SYN+ACK包）给客户端IP后，如果收不到第三次握手包（ACK包）后，不进行重试，加快回收“半连接”，不要耗光资源。

总结：

对于SYN flood攻击，调整下面三个参数就可以防范绝大部分的攻击了。

增大tcp_max_syn_backlog /proc/sys/net/ipv4目录下tcp_max_syn_backlog文件
减小tcp_synack_retries /proc/sys/net/ipv4目录下tcp_synack_retries
启用tcp_syncookies
现在的内核默认都是开启tcp_syncookies的
可以统一通过调整 /etc/sysctl.conf 文件来调整三个参数：

net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.tcp_syn_retries = 2