安装docker跨主机网络flannel
一、实验环境
机器 | 操作系统 | 安装服务 |
172.16.4.36 | centos7 |
docker etcd flannel
|
172.16.4.37 | centos7 |
docker etcd flanne |
(以上环境中:docker已安装好)
二、Flannel网络原理
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务,简单来说,它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。 但在默认的Docker配置中,每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是,不同节点上容器可能获得相同的内外IP地址。并使 这些容器之间能够之间通过IP地址相互找到,也就是相互ping通。 Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则,从而使得不同节点上的容器能够获得"同属一个内网"且"不重复的"IP地址,并让属于不同节 点上的容器能够直接通过内网IP通信。 Flannel实质上是一种"覆盖网络(overlay network)",即表示运行在一个网上的网(应用层网络),并不依靠ip地址来传递消息,而是采用一种映射机制,把ip地址和 identifiers做映射来资源定位。也就是将TCP数据包装在另一种网络包里面进行路由转发和通信,目前已经支持UDP、VxLAN、AWS VPC和GCE路由等数据转发方式。 原理是每个主机配置一个ip段和子网个数。例如,可以配置一个覆盖网络使用 10.100.0.0/16段,每个主机/24个子网。比如主机a可以接受10.100.5.0/24,主机B可以 接受10.100.18.0/24的包。flannel使用etcd来维护分配的子网到实际的ip地址之间的映射。对于数据路径,flannel 使用udp来封装ip数据报,转发到远程主机。选择 UDP作为转发协议是因为他能穿透防火墙。例如,AWS Classic无法转发IPoIP or GRE 网络包,是因为它的安全组仅仅支持TCP/UDP/ICMP。 flannel 使用etcd存储配置数据和子网分配信息。flannel 启动之后,后台进程首先检索配置和正在使用的子网列表,然后选择一个可用的子网,然后尝试去注册它。 etcd也存储这个每个主机对应的ip。flannel 使用etcd的watch机制监视/coreos.com/network/subnets下面所有元素的变化信息,并且根据它来维护一个路由表。为了 提高性能,flannel优化了Universal TAP/TUN设备,对TUN和UDP之间的ip分片做了代理。
默认的节点间数据通信方式是UDP转发.在Flannel的GitHub页面有如下的一张原理图:
- 数据从源容器中发出后,经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡,这是个P2P的虚拟网卡,flanneld服务监听在网卡的另外一端。
- Flannel通过Etcd服务维护了一张节点间的路由表,详细记录了各节点子网网段 。
- 源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务,数据到达以后被解包,然后直接进入目的节点的flannel0虚拟网卡,然后被转发到目的主机的docker0虚拟网卡,最后就像本机容器通信一下的有docker0路由到达目标容器。
1、安装etcd
1)下载并解压(在172.16.4.36和172.16.4.37上都执行以下命令)
wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz tar -xf etcd-v3.3.10-linux-amd64.tar.gz cd etcd-v3.3.10-linux-amd64 mv etcd* /usr/bin/
2)在172.16.4.36上新建:/usr/lib/systemd/system/etcd.service
[Unit] Description=etcd After=network.target [Service] Environment=ETCD_NAME=etcd-1 Environment=ETCD_DATA_DIR=/var/lib/etcd Environment=ETCD_LISTEN_CLIENT_URLS=http://172.16.4.36:2379,http://127.0.0.1:2379 Environment=ETCD_LISTEN_PEER_URLS=http://172.16.4.36:2380 Environment=ETCD_ADVERTISE_CLIENT_URLS=http://172.16.4.36:2379,http://127.0.0.1:2379 Environment=ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.16.4.36:2380 Environment=ETCD_INITIAL_CLUSTER_STATE=new Environment=ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster-token Environment=ETCD_INITIAL_CLUSTER=etcd-1=http://172.16.4.36:2380,etcd-2=http://172.16.4.37:2380 ExecStart=/usr/bin/etcd [Install] WantedBy=multi-user.target
3)在172.16.4.37上新建:/usr/lib/systemd/system/etcd.service
[Unit] Description=etcd After=network.target [Service] Environment=ETCD_NAME=etcd-2 Environment=ETCD_DATA_DIR=/var/lib/etcd Environment=ETCD_LISTEN_CLIENT_URLS=http://172.16.4.37:2379,http://127.0.0.1:2379 Environment=ETCD_LISTEN_PEER_URLS=http://172.16.4.37:2380 Environment=ETCD_ADVERTISE_CLIENT_URLS=http://172.16.4.37:2379,http://127.0.0.1:2379 Environment=ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.16.4.37:2380 Environment=ETCD_INITIAL_CLUSTER_STATE=new Environment=ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster-token Environment=ETCD_INITIAL_CLUSTER=etcd-1=http://172.16.4.36:2380,etcd-2=http://172.16.4.37:2380 ExecStart=/usr/bin/etcd [Install] WantedBy=multi-user.target
- name:节点名称 data-dir 指定节点的数据存储目录
- listen-peer-urls: 监听URL,用于与其他节点通讯
- listen-client-urls: 对外提供服务的地址:比如 http://ip:2379,http://127.0.0.1:2379 ,客户端会连接到这里和 etcd 交互
- initial-advertise-peer-urls: 该节点同伴监听地址,这个值会告诉集群中其他节点
- initial-cluster 集群中所有节点的信息,格式为 node1=http://ip1:2380,node2=http://ip2:2380,… 。注意:这里的 node1 是节点的 --name 指定的名字;后面的 ip1:2380 是 --initial-advertise-peer-urls 指定的值
- initial-cluster-state: 新建集群的时候,这个值为 new ;假如已经存在的集群,这个值为 existing
- initial-cluster-token :创建集群的 token,这个值每个集群保持唯一。这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误
- advertise-client-urls:对外公告的该节点客户端监听地址,这个值会告诉集群中其他节点
systemctl enable etcd
systemctl start etcd
测试etcd集群是否正常:
先在172.16.4.36上执行
etcdctl mkdir /boshen
先在172.16.4.37上执行
[root@ ~]# etcdctl ls
/boshen
从上面可以看出,36上创建的数据37上也能看到,表示etcd集群正常工作了
2、安装flannel
1)下载并解压(在172.16.4.36和172.16.4.37上都执行以下命令)
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz tar -xf flannel-v0.10.0-linux-amd64.tar.gz cp flanneld /usr/bin/
2)定义flannel网络ip池(只在一个节点上执行就行,比如在172.16.4.36上执行)
flannel-config.json 中,内容为:
{ "Network": "10.3.0.0/16", "SubnetLen": 24, "Backend": { "Type": "vxlan" } }
Network
定义该网络的 IP 池为10.3.0.0/16
。SubnetLen
指定每个主机分配到的 subnet 大小为 24 位,即10.3.X.0/24
。Backend
为vxlan
,即主机间通过 vxlan 通信。
然后执行以下命令:
etcdctl set /docker-flannel/network/config < flannel-config.json
3)新建启动文件: /usr/lib/systemd/system/flanneld.service(172.16.4.36和172.16.4.37)
[Unit] Description=flannel After=etcd.service network.target [Service] ExecStart=/usr/bin/flanneld --etcd-endpoints=http://172.16.4.36:2379,http://172.16.4.37:2379 -etcd-prefix=/docker-flannel/network --iface=eth0 [Install] WantedBy=multi-user.target
--etcd-endpoints
指定 etcd url。--iface
指定主机间数据传输使用的 interface。--etcd-prefix
指定 etcd 存放 flannel 网络配置信息的 key。只能指到目录级别,比如上面的key为:/docker-flannel/network/config ,只能指到/docker-flannel/network
4)启动flanneld(172.16.4.36和172.16.4.37)
systemctl enable flanneld
systemctl start flanneld
查看状态
systemctl status flanneld
172.16.4.36上自动分配的子网为:10.3.39.0/24
172.16.4.36上新建了一个interface: flannel.1
172.16.4.36上添加了一条路由:目的地址为 flannel 网络 10.3.59.0/24 的数据包都由 flannel.1 转发
172.16.4.37上自动分配的子网为:10.3.59.0/24
172.16.4.37上也新建了一个interface: flannel.1
172.16.4.36上添加了一条路由:目的地址为 flannel 网络 10.3.39.0/24 的数据包都由 flannel.1 转发
3、Docker中使用flannel
上面只是安装了flannel网络,还需要指定docker中默认的网络为flannel,要不然容器仍然使用默认网络(bridge)
1)编辑docker的配置文件:/usr/lib/systemd/system/docker.service
增加紫框部分:其中这两个参数的值必须与 /run/flannel/subnet.env 中 FLANNEL_SUBNET
和FLANNEL_MTU
一致。
2)重启docker服务
systemctl daemon-reload
systemctl restart docker
在172.16.4.36上,会将10.3.39.1配置到 Linux bridge docker0上,并添加了到10.3.39.0/24的一条路由
在172.16.4.37上,会将10.3.59.1配置到 Linux bridge docker0上,并添加了到10.3.59.0/24的一条路由
3)测试flannel网络的连通性
在172.16.4.36上运行容器box1,容器内ip为10.3.39.2
docker run -itd --name=box1 busybox
docker exec box1 ip r
在172.16.4.37上运行容器box2,容器内ip为10.3.59.2
docker run -itd --name=box2 busybox
docker exec box2 ip r
在172.16.4.36上执行
可以发现,是可以ping通10.3.59.2,说明box1和box2是连通的,下面用traceroute分析下数据包流向:
- box1容器的数据包首先发给自己主机的docker0,因为docker0是box1容器内的默认网关
- 在172.16.4.36上,根据下面的路由表,发送给docker0的数据包会发到10.3.39.0/24也就是会发给flannel.1,flannel.1 将数据包封装成 VxLAN,通过 宿主机的eth0 发送给172.16.4.37
- 在172.16.4.37上,收到box1发来的数据包,发现目的地址是10.3.59.2,根据宿主机的路由表,数据包发送给 flannel.1,并通过 docker0 到达 box2
4)flannel网络的隔离性
flannel 为每个主机分配了独立的 subnet,但 flannel.1 将这些 subnet 连接起来了,相互之间可以路由。本质上,flannel 将各主机上相互独立的 docker0 容器网络组成了一个互通的大网络,实现了容器跨主机通信。flannel 没有提供隔离。