一. 结论

  1. nginx最多只能维持(65535*后端服务器IP个数)条websocket的长连接,如果后端websocket服务器IP只有一个,那么就只能最多支持65535条连接。瓶颈就产生在了nginx上。

  2. 建议采用LVS的DR模式来做负载均衡,这样最大长连接数目就只和websocket服务器资源(主要是内存)有关了,单台websocket服务器很轻松可以支撑百万级连接

 

二. 原理

用nginx做websocket的反向代理其中涉及到的资源有:

1. 内存(相关数据结构的存储)、cpu、网络

   内存的占用分两部分,一部分是内核中tcp协议栈结构占用的内存,一部分是nginx中维持双向连接数据结构占用的内存

   按照理想状况,一条tcp连接的数据结构在内存中占用大约4KB左右,nginx的内存占用,没有统计相关的结构体,这里就等于2KB(nginx的内存利用非常高效,有内存池)

   对于现在的服务器来说内存、cpu、网络都不会是瓶颈,因此这里不做讨论。

2. 文件描述符数量

   可能需要调整内核参数,文件描述符的数量其实也是和内存相关的,因为每打开一个tcp连接,就得占用一个文件描述符。

   内核参数:fs.file-max

   这是和系统资源相关的,也不会是瓶颈

3. 端口号数量

   内核参数为:net.ipv4.ip_local_port_range,且最大值为65535

   linux内核是通过{local_ip, local_port, remote_ip, remote_port}这个四元组来标识一条唯一的tcp连接的。

   1)对于websocket服务器自身而言,local_ip, local_port是确定的,在内存、cpu足够的情况下,其可以支撑 (client_ip数量*2^16)条连接。也就是说只要服务器资源足够,一定不会是瓶颈。

   2)对于nginx服务器来说,local_ip, local_port也是确定的,不同的是,它还要作为client去连接websocket服务器,这是要占用一个端口的。

      因此,nginx能支撑的websocket连接数最大为:(代理的websocket服务器IP数量*2^16),如果只有一个websocket服务器IP,那么就只有65536,去掉0端口,就只有65535.

posted on 2020-05-11 15:22  java先生  阅读(721)  评论(0编辑  收藏  举报