基于nginx搭建SocketIO集群

由于单机资源的限制，一台机器能够支撑的tcp连接是有瓶颈的，而且也存在单点故障的弊端，所以在生产环境上使用SocketIO时，通常来讲，都是基于集群模式的。

将服务器进行水平扩展，最简单的做法就是使用负载均衡技术如nginx来实现。本文正是基于nginx教你如何一步步地搭建SocketIO集群。

 

搭建SocketIO服务器节点

我们首先在本地搭建2台服务器节点，服务器代码如下：

节点1：

public class Server1 {    
 
    
  public static void main(String[] args){    
    Configuration config = new Configuration();    
    config.setPort(1337);    
    final SocketConfig socketConfig = new SocketConfig();    
    socketConfig.setReuseAddress(true);    
    config.setSocketConfig(socketConfig);    
    SocketIOServer server = new SocketIOServer(config);    
    server.addConnectListener(new ConnectListener() {    
      @Override    
      public void onConnect(SocketIOClient socketIOClient) {    
        System.out.println(socketIOClient.getSessionId()+" has connected.");    
      }    
    });    
    server.start();    
  }    
}

节点2：

public class Server2 {    
 
    
  public static void main(String[] args){    
    Configuration config = new Configuration();    
    config.setPort(1338);    
    final SocketConfig socketConfig = new SocketConfig();    
    socketConfig.setReuseAddress(true);    
    config.setSocketConfig(socketConfig);    
    SocketIOServer server = new SocketIOServer(config);    
    server.addConnectListener(new ConnectListener() {    
      @Override    
      public void onConnect(SocketIOClient socketIOClient) {    
        System.out.println(socketIOClient.getSessionId()+" has connected.");    
      }    
    });    
    server.start();    
  }    
}

2个节点除了监听端口不一样之外，其他代码和逻辑都是一模一样的。

 

配置nginx负载均衡

以下是nginx的配置，可以看到，在upstream块中配置了2台SocketIO服务器节点的主机和端口。然后在location块中使用proxy_pass指令进行转发。这样就实现了最简单的负载均衡配置。

 
    
worker_processes  1;    
events {    
    worker_connections  1024;    
}    
 
    
http {    
    include       mime.types;    
    default_type  application/octet-stream;    
 
    
    sendfile        on;    
    keepalive_timeout  65;    
 
    
    server {    
        listen       80;    
        server_name  localhost;    
 
    
        location / {    
            proxy_pass http://nodes;    
        }    
 
    
    }    
 
    
  upstream nodes {    
 
    
    server localhost:1337;    
    server localhost:1338;    
  }    
 
    
}    
 

启动服务并测试

接下来分别启动2台SocketIO服务器和nginx服务器。

再写一个客户端，测试下通过nginx转发后，客户端能不能与后端的SocketIO服务器正常建立连接。

客户端代码如下：

public class Client {    
 
    
  public static void main(String[] args) throws Exception{    
    final Socket socket = IO.socket("http://localhost:80");    
    socket.on(Socket.EVENT_CONNECT, new Emitter.Listener() {    
 
    
      @Override    
      public void call(Object... args) {    
        System.out.println("I have connected to server.");    
      }    
 
    
    });    
    socket.connect();    
  }    
}

需要注意的是，这里客户端建立连接的时候，设置的连接地址是nginx的主机和端口号。如果能够正常建立连接，那么客户端控制台就会打印"I have connected to server."这段话。

我们运行下客户端看看效果：肯定是不行的

 

 

SocketIO官方的建议配置

接下来我们看下SocketIO官方是如何使用nginx来做水平扩展的。

打开官网，找到using-multiple-nodes这一节。

（地址：https://socket.io/docs/using-multiple-nodes/）

 

 

 

这一节开头就提到了，如果要使用多节点做水平扩展的话，需要保证一个客户端只跟具体的某台SocketIO服务器维持连接，否则的话，在WebSocket协议握手阶段，会因为握手失败而无法正常建立连接。

同时，官网还给出了nginx负载均衡的参考配置，我们将官方的配置搬过来试一下：

worker_processes  1;    
 
    
events {    
    worker_connections  1024;    
}    
 
    
 
    
http {    
    include       mime.types;    
    default_type  application/octet-stream;    
 
    
    sendfile        on;    
    keepalive_timeout  65;    
 
    
    server {    
        listen       80;    
        server_name  localhost;    
 
    
 
    
        location / {    
            proxy_pass http://nodes;    
                
      # enable WebSockets    
      proxy_http_version 1.1;    
      proxy_set_header Upgrade $http_upgrade;    
      proxy_set_header Connection "upgrade";    
        }    
 
    
    }    
 
    
  upstream nodes {    
      
    # enable sticky session based on IP    
    ip_hash;    
 
    
    server localhost:1337;    
    server localhost:1338;    
  }    
 
    
}

可以看到，在upstream块里面，多了一个ip_hash的配置，这个配置可以使得nginx根据客户端的ip来做负载均衡，最终的效果是某一个ip的客户端只会被路由到某一台服务器上面。

还有一点不同的是，多了2个请求头的设置：Upgrade和Connection。这2个请求头都是HTTP协议升级到WebSocket协议的过程中会用到的。

接下来我们重启nginx服务器，再启动客户端。即可实现啦啦啦......

 

我们将nginx的配置改成官方提供的之后，就可以正常建立连接了。

那么我们之前那么配置，到底有什么问题呢？

之前我们配置upstream块的时候，并没有明确指定具体的负载均衡策略，因此nginx使用的是默认的轮询策略，而由于WebSocket协议握手的过程中不是一步而就的，它分了几个步骤，如果说上一次是与服务器1握手，下一次是与服务器2握手，那么肯定没法正常完成握手流程，连接也就没法正常建立了。

至于proxy_set_header这个配置，目的是将客户端在握手过程中的请求头传输给后端服务器，不过我试了将这个配置注释掉，发现也还是能正常建立连接的，在生产环境，建立还是把这个配置加上为好。

 

总结

以上就是使用nginx搭建SocketIO服务器的全过程了。虽然不复杂，但是其背后的原理还是有必要了解的。因为只有知道了原理，如果你们公司用的负载均衡技术不是nginx，那么你也能知道怎么配置负载均衡策略来实现SocketIO服务器的水平扩展。万变不离其宗，底层原理才是最重要的。