15、基于consul+consul-template+registrator+nginx实现自动服务发现
一、架构图
二、组件介绍
1、Registrator
Registrator:一个由Go语言编写的,针对docker使用的,通过检查本机容器进程在线或者停止运行状态,去注册服务的工具。所以我们要做的实验,所有的工具都是在docker上运行的,就是因为registrator是通过检查docker容器的状态来判断服务状态的,这样就和我们的代码实现完全解耦了,对上层透明化,无感知。它有如下特点
通过docker socket直接监听容器event,根据容器启动/停止等event来注册/注销服务
每个容器的每个exposed端口对应不同的服务
支持可插拔的registry backend,默认支持Consul, etcd and SkyDNS
自身也是docker化的,可以容器方式启动
用户可自定义配置,如服务TTL(time-to-live)、服务名称、服务tag等
2、consul
Consul在这里用来做 docker 实例的注册与配置共享。
特点:
一致性协议采用 Raft 算法,比Paxos算法好用. 使用 GOSSIP 协议管理成员和广播消息, 并且支持 ACL 访问控制.
支持多数据中心以避免单点故障,内外网的服务采用不同的端口进行监听。而其部署则需要考虑网络延迟, 分片等情况等.zookeeper 和 etcd 均不提供多数据中心功能的支持.
健康检查. etcd 没有的.
支持 http 和 dns 协议接口. zookeeper 的集成较为复杂, etcd 只支持 http 协议.
还有一个web管理界面。
3、consul-template
一开始构建服务发现,大多采用的是zookeeper/etcd+confd。但是复杂难用。consul-template,大概取代了confd的位置,以后可以这样etcd+confd或者consul+consul-template。
consul template的使用场景:consul template可以查询consul中的服务目录、key、key-values等。这种强大的抽象功能和查询语言模板可以使consul template特别适合动态的创建配置文件。例如:创建apache/nginx proxy balancers、haproxy backends、varnish servers、application configurations。
consul-template提供了一个便捷的方式从consul中获取存储的值,consul-template守护进程会查询consul服务,来更新系统上指定的任何模板,当更新完成后,模板可以选择运行一些任意的命令,比如我们这里用它来更新nginx.conf这个配置文件,然后执行nginx -s reload命令,以更新路由,达到动态调节负载均衡的目的。
4、nginx
Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的,第一个公开版本0.1.0发布于2004年10月4日。
二、数据流
数据流过程如下:
registrator来监控每个web server的状态。当有新的web server启动的时候,registrator会把它注册到consul这个注册中心上。由于consul_template已经订阅了该注册中心consul上的服务消息,此时consul注册中心会将新的web server信息推送给consul_template,consul_template则会去修改nginx.conf的配置文件,然后让nginx重新载入配置以达到自动修改负载均衡的目的。同样当一个web server挂了,registrator也能感知到,进而通知consul做出响应。
三、单机版consul+consul-template+registrator+nginx实现自动服务发现
1、consul部署
consul安装
下载二进制Consul包: https://www.consul.io/downloads.html
# unzip consul_0.9.2_linux_amd64.zip
# mv consul /usr/bin
consul部署
nohup consul agent -server -bootstrap -ui -data-dir=/var/lib/consul-data -bind=10.11.97.181 -client=0.0.0.0 -node=server01 &>/var/log/consul.log &
指定角色为server、agent,启动UI界面,数据目录为/var/lib/consul-data,绑定本机IP地址,节点名称为server01;
启动后查看服务是否正常:
[root@localhost src]# cat /var/log/consul.log nohup: ignoring input ==> WARNING: Bootstrap mode enabled! Do not enable unless necessary ==> Starting Consul agent... ==> Consul agent running! Version: 'v0.9.2' Node ID: 'f5491cd9-e4da-993e-1b70-e8d3541a0b56' Node name: 'server01' Datacenter: 'dc1' Server: true (bootstrap: true) Client Addr: 0.0.0.0 (HTTP: 8500, HTTPS: -1, DNS: 8600) Cluster Addr: 10.11.97.181 (LAN: 8301, WAN: 8302) Gossip encrypt: false, RPC-TLS: false, TLS-Incoming: false ==> Log data will now stream in as it occurs: 2019/07/16 11:02:40 [INFO] raft: Restored from snapshot 4-8192-1563031670925 2019/07/16 11:02:40 [INFO] raft: Initial configuration (index=1): [{Suffrage:Voter ID:10.11.97.181:8300 Address:10.11.97.181:8300}] 2019/07/16 11:02:40 [INFO] raft: Node at 10.11.97.181:8300 [Follower] entering Follower state (Leader: "") 2019/07/16 11:02:40 [INFO] serf: EventMemberJoin: server01.dc1 10.11.97.181 2019/07/16 11:02:40 [WARN] serf: Failed to re-join any previously known node 2019/07/16 11:02:40 [INFO] serf: EventMemberJoin: server01 10.11.97.181 2019/07/16 11:02:40 [WARN] serf: Failed to re-join any previously known node 2019/07/16 11:02:40 [INFO] consul: Adding LAN server server01 (Addr: tcp/10.11.97.181:8300) (DC: dc1) 2019/07/16 11:02:40 [INFO] consul: Handled member-join event for server "server01.dc1" in area "wan" 2019/07/16 11:02:40 [WARN] Service name "composenginxtomcat_nginx" will not be discoverable via DNS due to invalid characters. Valid characters include all alpha-numerics and dashes. 2019/07/16 11:02:40 [WARN] Service name "composelnmp_nginx" will not be discoverable via DNS due to invalid characters. Valid characters include all alpha-numerics and dashes. 2019/07/16 11:02:40 [INFO] agent: Started DNS server 0.0.0.0:8600 (tcp) 2019/07/16 11:02:40 [INFO] agent: Started DNS server 0.0.0.0:8600 (udp) 2019/07/16 11:02:40 [INFO] agent: Started HTTP server on [::]:8500 2019/07/16 11:02:47 [ERR] agent: failed to sync remote state: No cluster leader 2019/07/16 11:02:48 [WARN] raft: Heartbeat timeout from "" reached, starting election 2019/07/16 11:02:48 [INFO] raft: Node at 10.11.97.181:8300 [Candidate] entering Candidate state in term 5 2019/07/16 11:02:48 [INFO] raft: Election won. Tally: 1 2019/07/16 11:02:48 [INFO] raft: Node at 10.11.97.181:8300 [Leader] entering Leader state 2019/07/16 11:02:48 [INFO] consul: cluster leadership acquired 2019/07/16 11:02:48 [INFO] consul: New leader elected: server01 2019/07/16 11:02:49 [INFO] agent: Synced node info
查看集群信息: consul members consul info |grep leader consul catalog services
通过HTTP API获取集群信息: curl 127.0.0.1:8500/v1/status/peers # 集群server成员 curl 127.0.0.1:8500/v1/status/leader # 集群Raft leader curl 127.0.0.1:8500/v1/catalog/services # 注册的所有服务 curl 127.0.0.1:8500/v1/catalog/services/nginx # 服务信息 curl 127.0.0.1:8500/v1/catalog/nodes # 集群节点详细信息
3、模拟注册一个服务
curl -X PUT -d \ '{"id": "jetty","name": "service_name","address": "10.11.97.181","port": 8080,"tags": ["test"],"checks": [{"http": "http://10.11.97.181:8080/","interval": "5s"}]}' \ http://10.11.97.181:8500/v1/agent/service/register
4、UI界面查看
可以看到,这个service是失败的。
清理service:
curl http://10.11.97.181:8500/v1/agent/service/deregister/jetty -X PUT
清理无用service。
2、registrator部署
1、安装
docker run -d --name=registrator --net=host -v /var/run/docker.sock:/tmp/docker.sock --restart=always gliderlabs/registrator:latest -ip=10.11.97.181 consul://10.11.97.181:8500
2、查看容器
3、consul-template部署
consul-template \ -consul-addr 10.11.97.181:8500 \ -template "./nginx.ctmpl:/usr/local/nginx/conf/nginx.conf:/usr/local/nginx/sbin/nginx -s reload" \ -log-level=info
后台启动方式:
nohup consul-template -consul-addr 10.11.97.181:8500 -template "./nginx.ctmpl:/usr/local/nginx/conf/default.conf:/usr/sbin/nginx -s reload" -log-level=info &>/var/log/consul-template.log &
日志如下:
[root@localhost src]# cat /var/log/consul-template.log nohup: ignoring input 2019/07/16 03:27:23.423211 [INFO] consul-template v0.19.3 (ebf2d3d) 2019/07/16 03:27:23.423237 [INFO] (runner) creating new runner (dry: false, once: false) 2019/07/16 03:27:23.423793 [INFO] (runner) creating watcher 2019/07/16 03:27:23.423910 [INFO] (runner) starting 2019/07/16 03:27:23.423951 [INFO] (runner) initiating run 2019/07/16 03:27:23.426838 [INFO] (runner) initiating run Reloading configuration...
其中,nginx.ctmpl为nginx模板:
[root@localhost src]# cat nginx_template/nginx.ctmpl upstream http_backend { {{range service "nginx"}} server {{ .Address }}:{{ .Port }}; {{ end }} } server { listen 8888; server_name localhost; location / { proxy_pass http://http_backend; } } [root@localhost src]#
4、Nginx服务启动
启动4个nginx容器作为测试:
并且将nginx的index.html文件进行对应的修改:
查看nginx配置文件
consul-template会根据启动的容器,自动发现nginx服务并加入配置文件中。
5、结果测试
我们直接访问http://10.11.97.181:8888,即可看到效果: