使用docker+consul+nginx集成分布式的服务发现与注册架构

一、环境说明:

1.一台虚拟机,该系统已经装好了docker;

  ip 192.168.10.224 虚拟网卡,与主机互通

  操作系统rhel6 内核 2.6.32  64位

  docker版本 1.7.1

2.一台主机

  ip 192.168.10.103

  操作系统windows server 2008R  64位

  ningx版本 1.8.0

二、思路及部署图

consul-Server 是运行在docker里的consul实例的server模式,可以通过DNS或者HTTP接口使服务注册并对容器进行健康状态检查,consul-registrator可以通过监听docker的start和stop事件来获取启动的实例的端口和ip配置,并通过consul-server提供的api注册接口注册到consul服务里。这里有一点需要注意,docker的restart方法貌似监视不到。另外比consul-registrator先启动的实例,也是无法监听到的,所以在部署的时候需要注意一下启动顺序。这里已经把最重要的一部分,自动监听注册docker实例的ip和端口完成了,接下来需要借助consul-template将consul-server中注册的服务拉去同步并写到nginx配置中,再重新启动nginx就可以了。consul-template会实时监控consul-server中的服务和状态,将新添加的服务和已经移除的服务,通过一个配置的模板写到一个指定的文件中,这里我们指定的文件就是nginx的配置了。另外介绍一下ngingx,它是可以热启动的,也就是在工作状态下重新加载配置,主要是nginx启动时会开启俩个实例,一个master实例监控配置信息,另外一个实例做负载和转发。整体思路就是这样,有需要了解其具体技术的,博客园里有很多介绍,这里就不具体再介绍了。

三、步骤

 1.配置docker阿里云加速

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://96x7opee.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

2.下载需要用到的docker镜像,order

sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/consul-registrator:1.0.0

sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/consul-server:1.0.0

sudo docker pull registry.cn-hangzhou.aliyuncs.com/hw/order:1.0.0

3.启动consul-server

docker run -d -p 8400:8400 -p 8500:8500 -p 8600:53/udp --name consul-server-node1  registry.cn-hangzhou.aliyuncs.com/hw/consul-server:1.0.0 -bootstrap -advertise 192.168.10.224

4.启动consul-registrator

docker run -d --name=consul-registrator-node1 --net=host --volume=/var/run/docker.sock:/tmp/docker.sock  registry.cn-hangzhou.aliyuncs.com/hw/consul-registrator:1.0.0  consul://0.0.0.0:8500

 5.部署一个order镜像

docker run -d -p 8088:80 --name order1 order

 6.配置模板,启动consul-template

events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    {{range services}} {{$name := .Name}} {{$service := service .Name}}
    upstream {{$name}} {
      {{range $service}}server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
      {{else}}server 127.0.0.1:65535; # force a 502{{end}}
    } {{end}}

    server {
      listen 80 default_server;

      location / {
        root /usr/share/nginx/html/;
        index index.html;
      }

      location /stub_status {
        stub_status;
      }

    {{range services}} {{$name := .Name}}
      location /{{$name}}/ {
        proxy_pass http://{{$name}}/;
    }
    {{end}}
    }
}

 

F:\nginx-1.8.0\consul-template.exe  -consul-addr 192.168.10.224:8500 -template F:\nginx-1.8.0\conf\nginx-template.conf:F:\nginx-1.8.0\conf\nginx.conf:"nginx -s reload -p F:\\nginx-1.8.0"

 注意后面的nginx -s reload -p F:\\nginx-1.8.0要在-p后面加上nginx目录位置否则会报日志目录无法找到的错误。

 

这里-consul-addr是刚才我们启动的consul-server的地址和端口,我们用网页可以打开有一个简单的界面。-template中冒号前面填写我们的模板路径,后面填写输出的位置。

7.启动nginx

 启动前先测试一下配置文件是否正确。注意先cd到nginx的目录,否则就需要带参数去运行,具体可参见官网的文档。

F:\nginx-1.8.0>nginx.exe -t

在验证没有问题后,就可以启动了。因为我配置是监听80端口,所以我先把IIS停掉了,不然这里会出错。

F:\nginx-1.8.0>start nginx.exe

 

至此,所有配置就已经完成。我们在浏览器中输入http://192.168.10.103/order/api/values 来查看一下是否能顺利访问。

OK,这表示整个流程已经走通。我们来验证一下,是否能在docker启动新实例时自动注册到我们的nginx配置中。

 

首先我们在虚拟机terminal中输入 docker stop order1

在主机中浏览一下http://192.168.10.224:8500/ui我们的consul服务有没有将order移除

 

 可以看到这个时候,order1是没有的,我们查看ngingx.conf能看到order也是被移除掉的。

浏览器访问http://192.168.10.103/order/api/values,也发现不能访问。

 我们回来虚拟机上,在terminal里输入docker start order1,

再查看http://192.168.10.224:8500/ui,发现服务已经注册了order,我们在浏览器访问http://192.168.10.103/order/api/values,发现又能正常访问,nginx.conf配置中也重新把order节点加上。

 

 

本文原创,转载请注明出处。

posted @ 2017-12-21 16:56  少羽大怪兽  阅读(4531)  评论(1编辑  收藏  举报