[原创] Nginx1.13版本reload过程对TCP包影响的测试
Nginx1.13版本reload过程中各项连接情况和状态的测试。测试Nginx1.13 Reload过程中，对客户端和服务器的TCP层面的包影响。
1）对客户端开启长连接，服务端开启/不开启长连接情况下
测试方法：浏览器发起http自带connection：keep-alive，服务端分别在开启和不开启长连接的情况下，然后在重新打开浏览器访问，连续访问5次，期间会reload nginx。整个过程对81和8010端口抓包。
2）对TCP长连接代理的情况下
测试方法：连接82端口，发送tcp，再发送tcp1，断开连接。然后连接ws，发送tcp_reload，执行nginx reload，再发送tcp_reload1，断开连接。整个过程抓82和8012端口的包。
3）对Websocket保持连接的情况下
测试方法：连接ws，发送hello，再发送hello1，断开连接。然后连接ws，发送hello_reload，执行nginx reload，再发送hello_reload1，断开连接。整个过程抓81和8010端口的包。
如下所示，是测试的环境访问流程。三项测试都是用该环境。
** 测试代码见文章末尾
1）对客户端开启长连接，服务端开启/不开启长连接情况下
1.1）环境的配置：
Real server使用python的SimpleHTTPServer模块启动一个简单的web服务，监听8010端口。如下图所示：
1.2）Nginx的配置：
不开启长连接时的配置如下，开启长连接时把注释去掉即可：
upstream websocket {
server localhost:8010;
#keepalive 2;
}
server {
listen 81;
server_name localhost;
location /websocket {
proxy_pass http://websocket/;
#proxy_http_version 1.1;
#proxy_set_header Connection "";
}
1.3）测试方法：浏览器发起http自带connection：keep-alive，服务端分别在开启和不开启长连接的情况下，然后在重新打开浏览器访问，连续访问5次，期间会reload nginx。整个过程对81和8010端口抓包。
81端口的抓包情况如下：
开启长连接时8010端口的抓包情况如下：
发现开启了长连接之后每次请求都会新建连接，进行三次握手，这是因为SimpleHTTPServer没有做处理的原因，换成tomcat（8080端口）之后，同样配置下访问五次使用的是同一个连接进行传输的。如下所示：
不开启长连接时8010端口的抓包情况如下：
2）对TCP长连接代理的情况下
2.1）环境的配置：
Real server使用python实现TCP Server，监听8012端口。如下图所示：
客户端使用python实现TCP Client。连接nginx的82端口。如下图所示：
2.2）Nginx的配置：
tcp代理的配置如下：
stream {
upstream tcp_server {
server localhost:8012 weight=5;
}
server {
listen 82;
proxy_responses 1;
proxy_timeout 20s;
proxy_pass tcp_server;
}
}
2.3）测试方法：连接82端口，发送tcp，再发送tcp1，断开连接。然后连接ws，发送tcp_reload，执行nginx reload，再发送tcp_reload1，断开连接。整个过程抓82和8012端口的包。
82端口抓到的包如下：
8012端口抓到的包如下：
2.4）nginx reload前后进程状态对比：
3）对Websocket保持连接的情况下
3.1）环境的配置：
Real server使用nodejs的启动一个简单的websocket服务，监听8010端口。如下图所示：
客户端连接如下：
3.2）Nginx的配置：
不开启长连接时的配置如下，开启长连接时把map段和proxy_set_header注释即可：
upstream websocket {
server localhost:8010;
#keepalive 2;
}
server {
listen 81;
server_name localhost;
location /websocket {
proxy_pass http://websocket/;
#proxy_http_version 1.1;
#proxy_set_header Connection "";
}
3.3）测试方法：连接ws，发送hello，再发送hello1，断开连接。然后连接ws，发送hello_reload，执行nginx reload，再发送hello_reload1，断开连接。整个过程抓81和8010端口的包。
81端口抓到的包如下：
8010端口抓到的包如下：
3.4）nginx reload前后进程状态对比：
结论：综上分析可知，不管nginx是否开启长连接，nginx在reload过程中，nginx对客户端和反向代理的后端在TCP代理，websocket代理和upstream反向代理的情况下均没有影响，nginx会在reload时把正常处理连接的worker设置shutting down状态，不接受新的请求，然后新启动一个worker进程接收处理新的请求，shutting down的worker直至处理完当前连接之后优雅退出。对于客户端的连接也是一样的。
# cat tcp_server.py
# -*- coding: utf-8 -*-
import SocketServer
from SocketServer import StreamRequestHandler as SRH
from time import ctime
import time
import sys
reload(sys)
sys.setdefaultencoding('utf8')
#host = '127.0.0.1'
host='127.0.0.1'
port = 8012
addr = (host, port)
class Servers(SRH):
def handle(self):
print 'got connection from ', self.client_address
self.wfile.write('connection %s:%s at %s succeed!' % (host, port, ctime()))
while True:
data = self.request.recv(1024)
if not data:
break
#print data
cur_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
print "%s RECV from %s, data is:%s" % (cur_time,self.client_address[0],data)
self.request.send(data)
print 'server is running....'
server = SocketServer.ThreadingTCPServer(addr, Servers)
server.serve_forever()
# cat server.js
console.log("Server started");
var Msg = '';
var WebSocketServer = require('ws').Server
, wss = new WebSocketServer({port: 8010});
wss.on('connection', function(ws) {
ws.on('message', function(message) {
console.log('Received from client: %s', message);
ws.send('Server received from client: ' + message);
});
});
