Docker swarm结合Openresty部署rabbitmq集群
Docker swarm结合Openresty部署rabbitmq集群
大家好，年底了，年味儿越来越浓了．2019年的寒冬被定义为未来10年中最好的一年，对于这一说法悲观的人和乐观的人的理解是不一样的．但是不管是寒冬还是盛夏，我们都应该坚持不断的积累和主动的思考．拥抱变化，坚定信心．
简单描述一下我们的需求，就是通过docker 来搭建一套rabbitmq的集群，用于接受业务传来的数据，然后把数据写到消息队列中，然后消费者消费消息，生成日志文件，接着大数据采集系统定时来采集数据．这样做的一个好处就是，我们的服务可以直接部署到业务系统所在的服务器集群中．
年末的时候，在忙完了各种活动项目之后，接到了一个新的项目，数据打点项目．需要在各指定机房搭建数据采集服务，然后有数据中心定时去拉取数据．为此我们采用的解决方案是 基于docker 搭建rabbitmq，利用Openresty 来进行数据的生产和nginx代理．来，让我们一起了解一些概念．
以下内容是从官网搬来的：
OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
OpenResty® 通过汇聚各种设计精良的 Nginx 模块（主要由 OpenResty 团队自主开发），从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样，Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
OpenResty® 的目标是让你的Web服务直接跑在 Nginx 服务内部，充分利用 Nginx 的非阻塞 I/O 模型，不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都进行一致的高性能响应。
之所以选择OpenResty，是看中了其中nginx服务和对lua脚本的支持，nginx可以做服务代理，lua脚本我们可以用来编写消息生产者的脚本．好了，开始我们的部署之旅吧（再罗嗦一句，你需要提前了解docker，同时保证部署环境已经安装了docker，为了部署成功，请保证有俩台服务器，或者虚拟机也行，同时保持俩台服务器或者虚拟机的ip在统一网段）！
一．搭建swarm集群
swarm集群的角色包含有leader，node 在swarm集群搭建中，重要的是保证 token的一致
1.swarm manager(初始化swarm leader): docker swarm init --advertise-addr 192.168.7.201
提示：这一步会产生token，token为swarm集群的唯一标识
2.swarm group(成员加入集群)
docker swarm join --token SWMTKN-1-35ucts3e9bg5onl1pyqwh03j1z1micdb88ziq78m4pfr1zulhf-70w2bdzpjyr8xqc1p77mue04r 192.168.7.201:2377
token是在初始化swarm manager时返回的．
注意：记得为集群成员追加label，便于rabbitmq绑定相应的节点，bi-tool-02是节点名称
docker node update --label-add rabbitmq=master bi-tool-02
docker node update --label-add rabbitmq=slave1 bi-tool-01
这里的label是我们给swarm集群中各节点起的一个别名，以 docker node update --label-add rabbitmq=master bi-tool-02 为例，是给节点bi-tool-02增加标签，标签为： rabbitmq=master ，我们可以通过 docker node inspect bi-tool-02 来查看节点配置内容．可以看到的内容如下：
"Labels": {
"rabbitmq": "master"
},
追加标签的目的是为了我们在搭建rabbitmq集群的时候，方便rabbitmq节点的绑定．
二．启动network服务
network 用于提供容器间通许
命令：docker network create --driver overlay rabbitmq-network
三．搭建rabbitmq集群
1.创建镜像
docker build -t stomp-rabbitmq:latest .
创建镜像所需要的dockerfile文件见附件 (博客园不能上传附件吗？？？？等我咨询完了，我再补充这个附件)
放在了百度网盘上：
https://pan.baidu.com/s/1PI1nL6TL9pJxsWUaTBleig
提取码：sg9p
2.创建rabbitmq master队列
命令(master)：sudo docker service create --name stomp-rabbitmq-master --hostname="stomp-rabbitmq-master" --network rabbitmq-network -p 5772:5672 -p 15772:15672 -p 12345:12345 --mount type=bind,target=/var/lib/rabbitmq/,source=/home/agent/rabmq/ --constraint node.labels.rabbitmq==master -e RABBITMQ_CLUSTER_NODES='rabbit@stomp-rabbitmq-slave1' -e "AUTOCLUSTER_CLEANUP=true" -e "CLEANUP_WARN_ONLY=false" -e "RABBITMQ_ERLANG_COOKIE=thisissecretkey" stomp-rabbitmq:latest
注意：要确保/home/agent/rabmq/ 路径的存在
备注：
--network 为设置网络环境，rabbitmq-network是创建好的docker network，类型为overlay。
-p 为将容器的端口暴露到宿主机的端口上，这样可以通过宿主机也就是服务器的端口访问到容器对应的端口，前方前为宿主机端口，后方为容器端口。其中5672为amqp通信端口，15672为管理界面端口，12345为stomp通信端口。
--mount 为将容器内的目录映射到宿主机上（/var/lib/rabbitmq/ 保存了队列与交换机等的信息，而且保存了持久化的队列里的消息），这样当容器出现问题时，启动新容器时由于已经挂载到了宿主机上持久化，关键信息可以不丢失，新容器相当于和旧容器一样。前方为容器，后方为宿主机目录。
--constraint 为创建service时将service指定在某台机器上创建，本次使用的是通过lable指定，在之前我已经对这三台服务器进行了label指定。
-e 为指定容器内的环境变量，比如其中的 "RABBITMQ_ERLANG_COOKIE=thisissecretkey"
3.创建rabbitmq slave 队列
命令(slave)：sudo docker service create --name stomp-rabbitmq-slave1 --hostname="stomp-rabbitmq-slave1" --network rabbitmq-network -p 5773:5672 -p 15773:15672 -p 23456:12345 --mount type=bind,target=/var/lib/rabbitmq/,source=/home/agent/rabmq/ --constraint node.labels.rabbitmq==slave1 -e RABBITMQ_CLUSTER_NODES='rabbit@rabbitmq-master' -e "AUTOCLUSTER_CLEANUP=true" -e "CLEANUP_WARN_ONLY=false" -e "RABBITMQ_ERLANG_COOKIE=thisissecretkey" stomp-rabbitmq:latest
在执行完 sudo docker service create --name stomp-rabbitmq-slave1 后，其实就相当于启动了一个容器，可以通过 docker ps 看到，如果看不到，那说明服务启动失败，通过进程守护进入容器用到的 id 就是 此处看到的id
(将分支１加入到集群)，通过守护进程进入到容器内部执行
(进入容器)命令：docker exec -it 36383eefcf87 /bin/sh
docker exec -it /bin/sh
rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit@stomp-rabbitmq-master
rabbitmqctl start_app
4.创建Openresty（nginx+lua）
docker build -t openresty-product:0.0.1 .
命令：docker service create --name openresty-product-service --mode global -p 8080:80 --mount type=bind,target=/var/log/nginx/,source=/home/agent/openresty-file/var/log/nginx --mount type=bind,target=/opt/,source=/home/agent/openresty-file/openrestyFile --mount type=bind,target=/etc/nginx/conf.d,source=/home/agent/openresty-file/etc/nginx/conf.d --mount type=bind,target=/usr/local/openresty/nginx/conf,source=/home/agent/openresty-file/usr/local/openresty/nginx/conf openresty-product:0.0.1
用于外网访问下载数据文件
命令：docker service create --name openresty-file-server --constraint node.labels.rabbitmq==master -p 80:80 --mount type=bind,target=/var/log/nginx/,source=/home/agent/finalDataFile/var/log/nginx --mount type=bind,target=/opt/,source=/home/agent/finalDataFile --mount type=bind,target=/etc/nginx/conf.d,source=/home/agent/finalDataFile/etc/nginx/conf.d openresty/openresty:xenial
nginx 的相关配置，我们就不在此细说了，我可以给大家看个例子
server { listen 80; server_name localhost; #charset koi8-r; access_log /var/log/nginx/host.access.log main; location / { root /usr/local/openresty/nginx/html; index index.html index.htm; } location /hello { # root /usr/local/openresty/nginx/html; # index index.html index.htm; default_type 'text/html'; content_by_lua 'ngx.say("hello world")'; } location /file { proxy_pass http://192.168.7.201:8090/; access_log /var/log/nginx/file.access.log main; error_log /var/log/nginx/file.error.log; } location /dataagent/v1/test { # deny all; default_type 'text/html'; # lua_code_cache off; # content_by_lua 'ngx.say("test.test.com access")'; access_log /var/log/nginx/chaoshen.access.log main; error_log /var/log/nginx/chaoshen.error.log; content_by_lua_file /opt/openresty-docker/openresty/lua-dataagent/chaoshen_yuenan.lua; } error_page 500 502 503 504 /50x.html; location = /50x.html { root /usr/local/openresty/nginx/html; } }
配置中 /dataagent/v1/test content_by_lua_file 对应的脚本文件就是用来生产消息的，我们也直接来看代码
package.path = '/opt/openresty-docker/openresty/lua-dataagent/lib/resty/?.lua;' local rabbitmq = require "rabbitmqstomp" local opts = { username = 'guest', password = 'guest', vhost = '/' } local mq, err = rabbitmq:new(opts) if not mq then ngx.log(4,'cannot new mq') ngx.log(4,err) return end mq:set_timeout(60000) -- connect to the rabbitmq on local machine local ok, err = mq:connect('192.168.7.201', 12345) if not ok then -- connect to other rabbitmq in cluster ok, err = mq:connect('192.168.7.200', 23456) if not ok then -- connect to last rabbitmq in cluster -- put messages into errorLog ngx.log(4,'cannot connect mq') ngx.log(4,err) return end end -- local msg = "d.g.test.com/gp.do?ac=s_publishgame&action=login&appId=133214321432&serverId=bj_server1&channel=test_gamecenter&accountId=q1132143214&playerId=q1132143214&tm=1458874365&first=1" local msg = string.sub(ngx.var.request_uri,22,-1) local result = string.gsub(msg,".*/","d.g.test.com/",1) local send_receipt_id = ngx.now()*1000 local headers = {} headers["destination"] = "/exchange/statistical/statistical.test" headers["receipt"] = send_receipt_id headers["app-id"] = "luaresty" headers["persistent"] = "true" headers["content-type"] = "application/plian" local ok, err = mq:send(result, headers) if not ok then ngx.log(4,'cannot send mq') ngx.log(4,err) return end local ok, err = mq:set_keepalive(10000, 100) if not ok then ngx.log(4,'cannot set_keepalive mq') ngx.log(4,err) return end -- ngx.say('success: ',msg)
5.配置RabbitMq
RabbitMq比较好的一个资料站点：https://www.jianshu.com/p/124cda48e4ea
https://www.jianshu.com/p/61a90fba1d2a
交换机，statistical
路由规则， statistical.test
队列，test
在rabbitmq中建好，就能往里发消息了
添加 ＂交换机＂，＂路由规则＂，＂消息队列＂
//声明交换机
rabbitmqctl eval 'rabbit_exchange:declare({resource, <<"/">>, exchange, <<"statistical">>}, topic, true, false, false, []).'
//声明消息队列
rabbitmqctl eval 'rabbit_amqqueue:declare({resource, <<"/">>, queue, <<"test">>}, true, false, [], none).'
//绑定交换机，路由规则，消息队列
rabbitmqctl eval 'rabbit_binding:add({binding, {resource, <<"/">>, exchange, <<"statistical">>}, <<"statistical.test">>, {resource, <<"/">>, queue, <<"test">>}, []}).'
6.测试消息生产
curl -i "http://192.168.7.200:8080/dataagent/v1/test/topic-sendtime-id/d.g.test.com/gp.do"
重点提示：
1.首先要理解集群的架构
2.保证打点日志文件的存储空间足够大
3.了解openresty
openresty:是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
4.要了解rabbitmq的相关知识，保证交换机，路由，消息队列的正常创建
5.注意容器中配置文件和物理路径的映射关系
6.lua脚本中，rabbitMq的地址一版是内网(局域网)地址
7.swarm集群中，注意个集群节点 label 的自定义
上面都有关于此问题的描述
问题排查思路:
1.查看nginx 日志来排查nginx异常日志
2.理解架构途中消息的传递路径，顺着路近一步步追查
好了，就写道这里，我是jerry百
