一. 结论
1. nginx最多只能维持(65535*后端服务器IP个数)条websocket的长连接,如果后端websocket服务器IP只有一个,那么就只能最多支持65535条连接。瓶颈就产生在了nginx上。
2. 建议采用LVS的DR模式来做负载均衡,这样最大长连接数目就只和websocket服务器资源(主要是内存)有关了,单台websocket服务器很轻松可以支撑百万级连接
二. 原理
用nginx做websocket的反向代理其中涉及到的资源有:
1. 内存(相关数据结构的存储)、cpu、网络
内存的占用分两部分,一部分是内核中tcp协议栈结构占用的内存,一部分是nginx中维持双向连接数据结构占用的内存
按照理想状况,一条tcp连接的数据结构在内存中占用大约4KB左右,nginx的内存占用,没有统计相关的结构体,这里就等于2KB(nginx的内存利用非常高效,有内存池)
对于现在的服务器来说内存、cpu、网络都不会是瓶颈,因此这里不做讨论。
2. 文件描述符数量
可能需要调整内核参数,文件描述符的数量其实也是和内存相关的,因为每打开一个tcp连接,就得占用一个文件描述符。
内核参数:fs.file-max
这是和系统资源相关的,也不会是瓶颈
3. 端口号数量
内核参数为:net.ipv4.ip_local_port_range,且最大值为65535
linux内核是通过{local_ip, local_port, remote_ip, remote_port}这个四元组来标识一条唯一的tcp连接的。
1)对于websocket服务器自身而言,local_ip, local_port是确定的,在内存、cpu足够的情况下,其可以支撑 (client_ip数量*2^16)条连接。也就是说只要服务器资源足够,一定不会是瓶颈。
2)对于nginx服务器来说,local_ip, local_port也是确定的,不同的是,它还要作为client去连接websocket服务器,这是要占用一个端口的。
因此,nginx能支撑的websocket连接数最大为:(代理的websocket服务器IP数量*2^16),如果只有一个websocket服务器IP,那么就只有65536,去掉0端口,就只有65535.