使用docker+consul+nginx集成分布式的服务发现与注册架构
一、环境说明:
1.一台虚拟机,该系统已经装好了docker;
ip 192.168.10.224 虚拟网卡,与主机互通
操作系统rhel6 内核 2.6.32 64位
docker版本 1.7.1
2.一台主机
ip 192.168.10.103
操作系统windows server 2008R 64位
ningx版本 1.8.0
二、思路及部署图
consul-Server 是运行在docker里的consul实例的server模式,可以通过DNS或者HTTP接口使服务注册并对容器进行健康状态检查,consul-registrator可以通过监听docker的start和stop事件来获取启动的实例的端口和ip配置,并通过consul-server提供的api注册接口注册到consul服务里。这里有一点需要注意,docker的restart方法貌似监视不到。另外比consul-registrator先启动的实例,也是无法监听到的,所以在部署的时候需要注意一下启动顺序。这里已经把最重要的一部分,自动监听注册docker实例的ip和端口完成了,接下来需要借助consul-template将consul-server中注册的服务拉去同步并写到nginx配置中,再重新启动nginx就可以了。consul-template会实时监控consul-server中的服务和状态,将新添加的服务和已经移除的服务,通过一个配置的模板写到一个指定的文件中,这里我们指定的文件就是nginx的配置了。另外介绍一下ngingx,它是可以热启动的,也就是在工作状态下重新加载配置,主要是nginx启动时会开启俩个实例,一个master实例监控配置信息,另外一个实例做负载和转发。整体思路就是这样,有需要了解其具体技术的,博客园里有很多介绍,这里就不具体再介绍了。
三、步骤
1.配置docker阿里云加速
sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF' { "registry-mirrors": ["https://96x7opee.mirror.aliyuncs.com"] } EOF sudo systemctl daemon-reload sudo systemctl restart docker
2.下载需要用到的docker镜像,order
sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/consul-registrator:1.0.0 sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/consul-server:1.0.0 sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/order:1.0.0
3.启动consul-server
docker run -d -p 8400:8400 -p 8500:8500 -p 8600:53/udp --name consul-server-node1 registry.cn-hangzhou.aliyuncs.com/hw/consul-server:1.0.0 -bootstrap -advertise 192.168.10.224
4.启动consul-registrator
docker run -d --name=consul-registrator-node1 --net=host --volume=/var/run/docker.sock:/tmp/docker.sock registry.cn-hangzhou.aliyuncs.com/hw/consul-registrator:1.0.0 consul://0.0.0.0:8500
5.部署一个order镜像
docker run -d -p 8088:80 --name order1 order
6.配置模板,启动consul-template
events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; {{range services}} {{$name := .Name}} {{$service := service .Name}} upstream {{$name}} { {{range $service}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1; {{else}}server 127.0.0.1:65535; # force a 502{{end}} } {{end}} server { listen 80 default_server; location / { root /usr/share/nginx/html/; index index.html; } location /stub_status { stub_status; } {{range services}} {{$name := .Name}} location /{{$name}}/ { proxy_pass http://{{$name}}/; } {{end}} } }
F:\nginx-1.8.0\consul-template.exe -consul-addr 192.168.10.224:8500 -template F:\nginx-1.8.0\conf\nginx-template.conf:F:\nginx-1.8.0\conf\nginx.conf:"nginx -s reload -p F:\\nginx-1.8.0"
注意后面的nginx -s reload -p F:\\nginx-1.8.0要在-p后面加上nginx目录位置否则会报日志目录无法找到的错误。
这里-consul-addr是刚才我们启动的consul-server的地址和端口,我们用网页可以打开有一个简单的界面。-template中冒号前面填写我们的模板路径,后面填写输出的位置。
7.启动nginx
启动前先测试一下配置文件是否正确。注意先cd到nginx的目录,否则就需要带参数去运行,具体可参见官网的文档。
F:\nginx-1.8.0>nginx.exe -t
在验证没有问题后,就可以启动了。因为我配置是监听80端口,所以我先把IIS停掉了,不然这里会出错。
F:\nginx-1.8.0>start nginx.exe
至此,所有配置就已经完成。我们在浏览器中输入http://192.168.10.103/order/api/values 来查看一下是否能顺利访问。
OK,这表示整个流程已经走通。我们来验证一下,是否能在docker启动新实例时自动注册到我们的nginx配置中。
首先我们在虚拟机terminal中输入 docker stop order1
在主机中浏览一下http://192.168.10.224:8500/ui我们的consul服务有没有将order移除
可以看到这个时候,order1是没有的,我们查看ngingx.conf能看到order也是被移除掉的。
浏览器访问http://192.168.10.103/order/api/values,也发现不能访问。
我们回来虚拟机上,在terminal里输入docker start order1,
再查看http://192.168.10.224:8500/ui,发现服务已经注册了order,我们在浏览器访问http://192.168.10.103/order/api/values,发现又能正常访问,nginx.conf配置中也重新把order节点加上。
本文原创,转载请注明出处。