centos7下安装docker(15.7容器跨主机网络---calico)
Calico是一个纯三层的虚拟网络方案,Calico为每个容器分配一个IP,每个host都是router,把不同host的容器连接起来。与vxlan不同的是:calico不对数据包进行封装,不需要NAT和端口映射,扩展性和性能都很好
与其他容器网络相比,calico还有一个优势:network policy。用户可以动态定义ACL规则,控制进出容器的数据包,实现业务需求
calico依赖etcd在不同主机间共享和交换信息,存储calico网络状态。calico网络中每个主机都要运行calico组件,提供容器interface管理,动态路由,动态ACL,报告状态等功能
部署calico
1.安装etcd
安装好后执行: etcd -listen-client-urls http://192.168.7.222:2379 -advertise-client-urls http://192.168.7.222:2379
2.修改docker1和docker2中的docker的配置文件:/etc/systecd/system/docker.service.d/10-machine.conf
重启docker服务
3。在docker1和docker2上部署calico
wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.6.1/calicoctl 下载calico安装包
修改权限
启动calico服务:calicoctl node run
注:calico服务启动的时候主要是运行一个calico容器
1.启动calico服务的时候,首先设置主机网络,例如enable IP forwarding
2.下载并启动calico-node容器,calico会以容器的形式运行(与weave类似)
注:在启动服务的时候如果报错,注意以上两点:1. ETCD_ENDPOINTS=http://127.0.0.1:2379这里应该是连接我们的etcd的服务器,是我们之前在docker配置文件中设置的/etc/systemd/system/docker.service.d/,在本实验中应该是 ETCD_ENDPOINTS=http://192.168.7.222:2379
2.由于通过calicoctl node run启动服务时,会自动下载镜像 quay.io/calico/node:latest,tag是latest默认的,所以我们可以提前下载好相关的镜像,使用 docker pull quay.io/calico/node:v2.6.2
3.由于docker node run 服务是写好了的代码进行启动的,但是我们也可以自己去手动运行容器启动,自己手动启动的时候注意以上两点即可
docker run --net=host --privileged --name=calico-node -d --restart=always -e NODENAME=docker2 -e CALICO_NETWORKING_BACKEND=bird -e CALICO_LIBNETWORK_ENABLED=true -e ETCD_ENDPOINTS=http://192.168.7.222:2379 -v /var/log/calico:/var/log/calico -v /var/run/calico:/var/run/calico -v /lib/modules:/lib/modules -v /run:/run -v /run/docker/plugins:/run/docker/plugins -v /var/run/docker.sock:/var/run/docker.sock quay.io/calico/node:v2.6.2
这是官方文档的方式,在启动服务的时候指定镜像
启动calico服务一步搞定的办法是:ETCD_ENDPOINTS=http://172.17.8.101:2379 calicoctl node run --node-image=quay.io/calico/node:v2.6.2
指定自己的etcd的endpoints,指定镜像的tag
查看calico状态:
calicoctl node status
官网安装calico服务地址(centos)https://docs.projectcalico.org/v2.6/getting-started/docker/installation/vagrant-coreos/
2.创建calico网络
docker network create --driver calico --ipam-driver calico-ipam calico-net1
--driver calico:网络使用calico驱动
--ipam-driver calico-ipam:指定使用calico的IPAM驱动管理IP
calico是global网络,etcd会将calico-net1同步到所有主机
calico网络结构:
在docker2上运行容器:
docker run -itd --name calico1 --network=calico-net1 busybox
查看calico1的网络配置
calico0shi calico interface 分配的IP为192.168.100.64/32.calico0对应docker2上6的编号的interface
docker2将作为router负责转发目的的地址为calico1的数据包,所有发送到calico1的数据都会给 calie9fa9faf0fa,因为 calie9fa9faf0fa与cali0是一对veth pair,calico1能收到数据
docker2的网络结构如上盗图:
下面我们来看一下docker1上的网络结构
由于calico是global网络,所以我们不需要启动calico服务,也可以看到我们建立的calico网络:calico-net1
启动calico服务后,在docker1中运行容器:
使用与docker2上相同的网段calico-net1后获得的IP为192.168.72.129/32
在docker1上新建容器后可以看到docker1上新添加了2条路由:
1.目的地址为dockwe2上得容器,网关是:192.168.7.226
2.目的地址为 calico-node容器的路由
下面我们来看一下docker1与docker2的网络是否能够ping通
注:如果启动calico node run 服务时没有任何输出的结果,或者使用caloci网络运行的容器无法和其他host上的容器ping通,可能是由于host上的calicoctl的安装包没有下载好,建议重新下载或者是在其他host上重新拷贝一份
现在docker1与docker2上的容器之间的通信如上图:盗图
1.根据docker2上的calico1的容器的路由表,将数据包从cali0发出
2.数据经过veth pair到达docker2,查看路由表,数据根据ens160发给daoker1(192.168.7.235)上
3.docker2收到数据后,根据路由表发送给 cali5224fe3869b,通过veth pair cali0发送到calicao2中
接下来我们看不同calico网络之间的连通性
1.创建calico-net2
2.运行容器calico3使用calico-net2网络:docker run -itd --name calico3 --network calico-net2 busybox
3.
calico为calico3容器分配了192.168。72.130/32网络,验证相同的host上的容器之间是否能ping通
虽然calico2和calico3在同一个host上,但是由于他们使用的是不同的calico网络,也是不能通的
calico默认的policy规则是:容器只能与同一个calico网络中的容器通信
calico的每个网络都有一个同名的profile,profile中定义了该网络的policy,我们具体看一下calico-net1的profile:
首先我们要编辑一个文件:/etc/calico/calicoctl.cfg
1.创建目录mkdir /etc/calico
2.vim /etc/calico/calicoctl.cfg
apiVersion: v1
kind: calicoApiConfig
metadata:
spec:
datastoreType: "etcdv2"
etcdEndpoints: "http://etcd1:2379,http://etcd2:2379"
具体参考;https://docs.projectcalico.org/v2.6/reference/calicoctl/setup/etcdv2,
如果不编辑/etc/calico/calicoctl.cfg这个文件的话,会报一下错误:Failed to get resources: client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:2379: getsockopt: connection refused
3.查看我们的calico-net1的profile
calico get profile calico-net1 -o yaml
1.命名为calico-net1
2.为profile添加一个tag calico-net1,这个tag默认和网络名一致,但是是可以任意设置,这个tag和上面的name没有一点关系,这个tag后面会用到
3.egress:对容器个发出的数据包进行限制,当前没有任何限制
4.ingress:对进入容器的数据包进行限制,当前是接收来自tag calico-net1的容器,其实就是接收本网段的数据包
calicoctl:管理资源,资源通过yaml和json格式来定义,通过calicoctl create或者apply方式来创建或应用,通过calicoctl get来查看
calicoctl支持的资源类型有:bgpPeer, hostEndpoint, policy, ipPool, profile, workloadEndpoint等
制定policy
calico能够让用户定义灵活的policy规则,精细化控制容器的流量
试验:创建一个新的calico网络calico-web并部署一个httpd容器
定义calico-web中的容器允许被calico-net2中的容器访问
web2容器的IP是192.168.72.131
现在还无法访问192.168.72.131的80端口
创建policy文件web.yml
创建好后,使用命令:calicoctl create -f web.yuml使用这个资源
创建calico的IP池
首先查看IP pool:calicoctl get ippool
创建ippoll首先创建一个资源文件
vim pool.yaml
运行命令进行创建:calicoctl create -f ippool.yaml
我们在进行查看:calicoctl get ippool
有我们自定义的10.20.0.0/24的网段
验证连通性:
创建一个subnet为10.20.0.0/24的网络,通过--subnet=10.20.0.0/24来指定subnet
运行容器个,查看他的IP
使用calico-sub运行的容器的IP是10.20.0.129,验证同一host上的容器是否能通
另一个容器的IP是192.168.72.139
不能ping通
不同host上的相同subnet的容器是可以ping通的