Docker 网络管理及容器跨主机通信

1、网络模式

docker支持四种网络模式，使用--net选项指定：

• host，--net=host，如果指定此模式，容器将不会获得一个独立的network namespace，而是和宿主机共用一个。容器将不会虚拟出自己的网卡，IP等，而是使用宿主机的IP和端口，也就是说如果容器是个web，那直接访问宿主机:端口，不需要做NAT转换，跟在宿主机跑web一样。容器中除了网络，其他都还是隔离的。

• container，--net=container:NAME_or_ID，与指定的容器共同使用网络，也没有网卡，IP等，两个容器除了网络，其他都还是隔离的。

• none ，--net=none，获得独立的network namespace，但是，并不为容器进行任何网络配置，需要我们自己手动配 置。

• bridge，--net=bridge，默认docker与容器使用nat网络，一般分配IP是172.17.0.0/16网段，要想改为其他网段，可以直接修改网桥IP地址，例如：

$ sudo ifconfig docker0 192.168.10.1 netmask 255.255.255.0

2、容器默认网络配置过程

先创建一个docker0的网桥，使用Veth pair创建一对虚拟网卡，一端放到新创建的容器中，并重命名eth0，另一端放到宿主机中，以veth+随机7个字符串名字命名，并将这个网络设备加入到docker0网桥中，网桥自动为容器分配一个IP，并设置docker0的IP为容器默认网关。同时在iptables添加SNAT转换网桥段IP，以便容器访问外网。

Veth par是用于不同network namespace间进行通信的方式，而network namespace是实现隔离网络。

3、容器桥接宿主机网络

关闭docker并设置桥接模式：

$ sudo apt-get install bridge-utils 

$ sudo service docker stop

#关闭默认网桥

$ sudo ip link set dev docker0 down

#删除默认网桥

$ sudo brctl delbr docker0

创建桥接网卡：

$ sudo brctl addbr br0    #创建网桥 

$ sudo vi /etc/network/interfaces #将原有宿主机IP配置到新创建的网桥上

auto  eth0
iface eth0 inet manual
auto  br0
iface br0 inet static
    address 192.168.10.10   #宿主机IP
    netmask 255.255.255.0
    gateway 192.168.10.1
    dns-nameservers 192.168.10.1

$ sudo /etc/init.d/networking restart

重启网卡后，再通过ifconfig命令查看，多了br0网桥，并且IP地址也绑定在了上面。

#修改docker桥接网桥并重启

$ sudo  vi /etc/default/docker

DOCKER_OPTS="-b=br0"

$ sudo service docker start

接下来启动一个容器，先不配置网络信息：

$ sudo docker run -itd --name=ubuntu_test --net=none ubuntu  

不配置ip的原因是：容器启动后自动随机分配一个网桥段的IP，这个IP不管你宿主机网络中是否已经分配，它都会根据自身的算法来分配IP，docker有自己的一套分配算法。 
所以既然选择桥接网络，就要事先规划好IP分配。

4、创建容器没配置网络，该怎么配置呢？

pipework是一个LXC网络管理工具，用shell写的，有200多行代码。可以给容器配置固定IP地址：

$ git clone https://github.com/jpetazzo/pipework.git

$ sudo cp pipework/pipework /usr/local/bin/

$ sudo pipework br0 ubuntu_test 192.168.18.29/24@192.168.18.1

Warning: arping not found; interface may not be immediately reachable

这一步是给配置容器网络并连接网桥，@左边是与宿主机同网段IP，右边是网关。

提示arping命令没发现，可以通过apt-get install arping来安装。

$ sudo brctl show   #查看虚拟网卡veth开头的已加入网桥

$ sudo docker attach ubuntu_test  

#进入容器用ifconfig命令查看，IP信息已经配置上，通过ping百度及同网段IP是相通的，配置成功。

pipework工具怎么实现配置的IP呢？

pipework是通过ip netns exec进入容器的net命名空间，来配置容器net命名空间的网络参数。

博客地址： http://lizhenliang.blog.51cto.com

5、简单讲下怎么SSH连接容器

根据上面的配置后，简单配置下SSH服务即可实现SSH远程登录：

#进入容器

$ sudo docker attach ID/NAME

#安装SSH

$ sudo apt-get update

$ sudo apt-get install openssh-server

#修改SSH配置文件（/etc/ssh/sshd_config）

PermitRootLogin yes   #运行root登录

UsePAM no   #不使用验证模块

#启动SSH

/etc/init.d/ssh restart

#查看是否启动成功

ps -ef |grep ssh

此时已经可以像连接虚拟机那样SSH连接容器了！

在docker默认网络模式情况下，由于容器是docker分配docker0网段的IP，这时又该怎么SSH连接容器呢？

当创建新容器时有选项可以指定宿主机到容器端口，那就是-p选项。

例如：$ sudo docker run -itd --name=ubuntu_test -p 2222:22 ubuntu  

2222是宿主机端口，22是容器内部ssh服务端口。这样就可以通过"ssh -p 2222 root@宿主机IP"连接容器了。不但ssh服务可以这样做，比如web、mysql等服务也同样方式实现容器对外提供服务。

当使用-p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看，出现最下面的一条记录：

知道了docker容器网络通信原理，那么，就可以自定义添加规则实现端口映射。

例如：将来自宿主机的2222端口转发到容器的22端口

$ sudo iptables -t nat -A PREROUTING -d 192.168.18.231 -p tcp --dport 2222 -j DNAT --to 172.17.0.1:22

6、容器跨主机通信

由于docker自身还未支持跨主机容器通信，需要借助docker网络开源解决方案实现。这里利用OpenVSwich即开放式虚拟交换机实现容器跨主机通信。

什么是OpenVSwich？

OpenVSwich是一种开源软件，通过软件的方式实现交换机功能，专门管理多租赁云计算网络环境，提供VM直接通信和控制。

既然是虚拟交换机，自然与传统的物理交换机有着相同的特性，操作中可以按照理解物理交换机的方式去操作，有助于对虚拟交换机的认识。

实验环境：

操作系统：ubuntu14.04_x64

宿主机1:192.168.18.16  容器网段：172.17.1.0/24

宿主机2:192.168.18.17  容器网段：172.17.2.0/24

开始创建网络环境（两台宿主机做相同的操作，部分要适当修改，已注明）：

#安装openvswitch

$ sudo apt-get install openvswitch-switch bridge-utils

#添加网桥obr0（理解为添加了一个交换机）

$ sudo ovs-vsctl add-br obr0

#将gre0接口加入到网桥obr0， 远程IP写对端IP（创建一个GRE隧道并添加到网桥中）

$ sudo ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.18.17

#查看ovs信息

$ sudo ovs-vsctl show

#添加docker网桥

$ sudo brctl addbr kbr0

#将obr0网桥加入kbr0网桥，并启动

$ sudo brctl addif kbr0 obr0

$ sudo ip link dev kbr0 up

$ sudo ip link set dev kbr0 up

#查看网桥信息

$ sudo brctl show

#添加docker网桥配置信息（18.17宿主机按照这种方式配置自己）

$ vi /etc/network/interfaces

auto eth0
iface eth0 inet static
    address 192.168.18.16
    netmask 255.255.255.0
    gateway 192.168.18.1
    dns-nameservers 192.168.18.1
auto kbr0
iface kbr0 inet static        
    address 172.17.1.1
    netmask 255.255.255.0
    gateway 172.17.1.0

#删除默认docker网桥

$ sudo ip link set dev docker0 down

$ sudo ip link delete dev docker0

#关键一点，添加路由条目，否则无法通讯（同样在18.17上面这样添加路由，写对端IP）

#via从哪个网关出去，写对端IP。dev由哪个设备出去

$ sudo ip route add 172.17.2.0/24 via 192.168.18.17 dev eth0  

至此容器跨主机通信配置完成，两边各创建一个容器来验证吧！

里面涉及到一个GRE隧道，什么是GRE隧道呢？

GRE即通用路由协议封装，隧道技术是一种封装技术，将网络层协议（如IP）的数据报文进行封装，使这些封装的数据报文能够在另一个网络层协议中传输。可以看作是一个虚拟点到点连接，所以建立隧道时，要配置好隧道源地址和目的地址。

另外，weave也可以实现跨主机容器通信，也是类似于一个网络交换机，配置简单，有兴趣朋友可以了解下。