mqtt haproxy 代理及负载搭建

mqtt 分布集群搭建

haproxy 安装配置

解压

安装

mqtt 分布集群搭建

详情请参照emqtt 分布集群及节点桥接搭建

haproxy 安装配置

解压

cd /home/hylink/
tar zxvf haproxy-1.8.12.tar.gz
cd zxvf haproxy-1.8.12

安装

make TARGET=linux2628 ARCH=x86_64 PREFIX=/home/hylink/haproxy
make install PREFIX=/home/hylink/haproxy

#参数说明
TARGET=linux26 #内核版本，使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26；kernel 大于2.6.28的用：TARGET=linux2628
ARCH=x86_64 #系统位数
PREFIX=/home/hylink/haproxy /home/hylink/haproxy为haprpxy安装路径

配置haproxy.cfg

sudo gedit /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

global
    log 127.0.0.1 local0
    log 127.0.0.1 local1 notice
    daemon
    nbproc 2
    maxconn 51200
    pidfile /home/hylink/haproxy/sbin/haproxy.pid  


defaults
    log global
    mode http
    option httplog
    option dontlognull
    retries 3
    option abortonclose
    timeout connect 5000ms
    timeout client 30000ms
    timeout server 60000ms
    balance roundrobin

listen stats
    bind *:9080
    mode http
    option httplog
    maxconn 10
    stats refresh 30s
    stats uri /stats
    stats realm Haproxy Manager
    stats hide-version
    stats admin if TRUE

启动haproxy

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

出现以下异常

[WARNING] 227/155234 (4947) : Proxy 'stats': in multi-process mode, stats will be limited to process assigned to the current request.
[WARNING] 227/155234 (4947) : Proxy 'stats': stats admin will not work correctly in multi-process mode.
[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] Cannot raise FD limit to 102411, limit is 4096.
[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] FD limit (4096) too low for maxconn=51200/maxsock=102411. Please raise 'ulimit-n' to 102411 or more to avoid any trouble.

解决方案：系统里的能打开的文件描述符太小，程序里的比较大，只要将系统里的FD重新调大就好

1、修改/etc/security/limits.conf，通过

vi /etc/security/limits.conf

修改其内容，在文件最后加入（数值也可以自己定义）：

* soft  nofile = 32768
* hard  nofile = 65536

2、修改/etc/profile，通过

vi /etc/profile

修改，在最后加入以下内容

ulimit -n 32768

3、切换用户

su - root
source /etc/profile

在root用户下继续执行

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

启动haproxy，访问:http://172.19.12.231:9080/stats 进入统计页面，至此haproxy搭建完毕。

配置mqtt

执行

./bin/emqttd_ctl cluster status

查看集群信息

执行

vim /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

listen mqtt
    bind *:1890
    mode tcp
    maxconn 50000
    option clitcpka # For TCP keep-alive
    timeout client 3h #By default TCP keep-alive interval is 2hours in OS kernal, 'cat /proc/sys/net/ipv4/tcp_keepalive_time'
    timeout server 3h #By default TCP keep-alive interval is 2hours in OS kernal
    option tcplog
    balance leastconn
    server emq1 172.19.12.231:1883 check inter 10000 fall 2 rise 5 weight 1
    server emq2 172.19.12.207:1883 check inter 10000 fall 2 rise 5 weight 1

重启haproxy

访问:http://172.19.12.231:9080/stats

测试

分别用两台机器的客户端连接代理机器的1890端口。

这个客户端分别被分配到不同的机器上

接收消息效果

负载配置说明

负载均衡算法

一、roundrobin，表示简单的轮询，每个服务器根据权重轮流使用，在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

二、static-rr，表示根据权重，建议关注；每个服务器根据权重轮流使用，类似roundrobin，但它是静态的，意味着运行时修改权限是无效的。另外，它对服务器的数量没有限制。

三、leastconn，表示最少连接者先处理，建议关注；leastconn建议用于长会话服务，例如LDAP、SQL、TSE等，而不适合短会话协议。如HTTP.该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

四、source，表示根据请求源IP，建议关注；对请求源IP地址进行哈希，用可用服务器的权重总数除以哈希值，根据结果进行分配。

只要服务器正常，同一个客户端IP地址总是访问同一个服务器。如果哈希的结果随可用服务器数量而变化，那么客户端会定向到不同的服务器；

该算法一般用于不能插入cookie的Tcp模式。它还可以用于广域网上为拒绝使用会话cookie的客户端提供最有效的粘连；