有了Openvswitch和Docker，终于可以做《TCP/IP详解》的实验了！
所有做过网络编程的程序员，想必都会看《TCP/IP详解》卷一：协议
后来出了第二版，但是由于第一版才是Rechard Stevens的原版，本人还是多次看了第一版。
对这一版印象最深的就是下面这个拓扑图
书上的很多实验，都是基于这个图做的，看了实验结果，很多理论才有真实的感觉。
看这本书的时候，不尽感慨Rechard Stevens的天赋英才，他能够利用工作中当时少于的实验环境，做了大量的实验，写出了普惠程序员的这本书。
可是除了看书中的实验结果，如何能够模拟这么一个环境，也动手测试一下呢？
可是对于大部分的同学来讲，是几乎不可能的事情，除非能够真的管理实验室或者机房。
后来有了Docker和Openvswitch，发现这个拓扑图在一个虚拟机里面就能够模拟完成。
接下来我们就看这个过程。
一、创建一个Ubuntu的VirtualBox虚拟机
里面有两张网卡，一个是NAT，用于访问公网，一个是Host-only，用于ssh进去配置。
二、安装Docker
apt-get remove docker docker-engine docker.io
apt-get update
apt-get install apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg > gpg
apt-key add gpg
apt-key fingerprint 0EBFCD88
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
apt-get update
apt-cache madison docker-ce
apt-get install docker-ce=17.03.2~ce-0~ubuntu-xenial
三、安装Openvswitch
apt-get install openvswitch-common openvswitch-dbg openvswitch-switch python-openvswitch openvswitch-ipsec openvswitch-pki openvswitch-vtep
安装网桥
apt-get install bridge-utils
apt-get install arping
四、创建br-ex，用于gateway连接外网
在虚拟机里面找到NAT的那张网卡
2: enp0s3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 08:00:27:77:d9:16 brd ff:ff:ff:ff:ff:ff
inet 10.0.2.15/24 brd 10.0.2.255 scope global enp0s3
valid_lft forever preferred_lft forever
创建br-ex，将NAT网卡连接到br-ex，然后将IP地址放在br-ex上
brctl addbr br-ex
brctl addif br-ex enp0s3
ifconfig enp0s3 0
ifconfig br-ex 10.0.2.15/24
ip route add default via 10.0.2.2 dev br-ex
五、准备一个Ubuntu容器镜像
准备一个Dockerfile
FROM hub.c.163.com/public/ubuntu:14.04
RUN apt-get -y update && apt-get install -y iproute2 iputils-arping net-tools arping tcpdump curl telnet iputils-tracepath traceroute
ENTRYPOINT /usr/sbin/sshd -D
编译这个Dockerfile
docker build -f Dockerfile -t hub.c.163.com/liuchao110119163/ubuntu:1 .
六、创建图中所有的节点，每个一个容器
docker run --privileged=true --net none --name aix -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name solaris -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name gemini -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name gateway -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name netb -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name sun -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name svr4 -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name bsdi -d hub.c.163.com/liuchao110119163/ubuntu:1
docker run --privileged=true --net none --name slip -d hub.c.163.com/liuchao110119163/ubuntu:1
七、创建两个网桥，代表两个二层网络
ovs-vsctl add-br net1
ovs-vsctl add-br net2
八、将所有的节点连接到两个网络
在这里我们使用pipework
./pipework net1 aix 140.252.1.92/24
./pipework net1 solaris 140.252.1.32/24
./pipework net1 gemini 140.252.1.11/24
./pipework net1 gateway 140.252.1.4/24
./pipework net1 netb 140.252.1.183/24
./pipework net2 bsdi 140.252.13.35/27
./pipework net2 sun 140.252.13.33/27
./pipework net2 svr4 140.252.13.34/27
九、添加从slip到bsdi的p2p网络
创建一个peer的两个网卡
ip link add name slipside mtu 1500 type veth peer name bsdiside mtu 1500
把其中一个塞到slip的网络namespace里面
root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' slip
14521
ln -s /proc/14521/ns/net /var/run/netns/14521
ip link set slipside netns 14521
把另一个塞到bsdi的网络的namespace里面
root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' bsdi
14478
ln -s /proc/14478/ns/net /var/run/netns/14478
ip link set bsdiside netns 14478
给slip这面的网卡添加IP地址
docker exec -it slip ip addr add 140.252.13.65/27 dev slipside
docker exec -it slip ip link set slipside up
给bsdi这面的网卡添加IP地址
docker exec -it bsdi ip addr add 140.252.13.66/27 dev bsdiside
docker exec -it bsdi ip link set bsdiside up
如果我们仔细分析，p2p网络和下面的二层网络不是同一个网络。
p2p网络的cidr是140.252.13.64/27，而下面的二层网络的cidr是140.252.13.32/27
所以对于slip来讲，对外访问的默认网关是13.66
docker exec -it slip ip route add default via 140.252.13.66 dev slipside
而对于bsdi来讲，对外访问的默认网关13.33
docker exec -it bsdi ip route add default via 140.252.13.33 dev eth1
对于sun来讲，要想访问p2p网络，需要添加下面的路由表
docker exec -it sun ip route add 140.252.13.64/27 via 140.252.13.35 dev eth1
对于svr4来讲，对外访问的默认网关是13.33
docker exec -it svr4 ip route add default via 140.252.13.33 dev eth1
对于svr4来讲，要访问p2p网关，需要添加下面的路由表
docker exec -it svr4 ip route add 140.252.13.64/27 via 140.252.13.35 dev eth1
这个时候，从slip是可以ping的通下面的所有的节点的。
十、添加从sun到netb的点对点网络
创建一个peer的网卡对
ip link add name sunside mtu 1500 type veth peer name netbside mtu 1500
一面塞到sun的网络namespace里面
root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' sun
14384
ln -s /proc/14384/ns/net /var/run/netns/14384
ip link set sunside netns 14384
另一面塞到netb的网络的namespace里面
root@k8smaster:~# docker inspect '--format={{ .State.Pid }}' netb
14336
ln -s /proc/14336/ns/net /var/run/netns/14336
ip link set netbside netns 14336
给sun里面的网卡添加地址
docker exec -it sun ip addr add 140.252.1.29/24 dev sunside
docker exec -it sun ip link set sunside up
在sun里面，对外访问的默认路由是1.4
docker exec -it sun ip route add default via 140.252.1.4 dev sunside
在netb里面，对外访问的默认路由是1.4
docker exec -it netb ip route add default via 140.252.1.4 dev eth1
在netb里面，p2p这面可以没有IP地址，但是需要配置路由规则，访问到下面的二层网络
docker exec -it netb ip link set netbside up
docker exec -it netb ip route add 140.252.1.29/32 dev netbside
docker exec -it netb ip route add 140.252.13.32/27 via 140.252.1.29 dev netbside
docker exec -it netb ip route add 140.252.13.64/27 via 140.252.1.29 dev netbside
十一、对于netb，配置arp proxy
对于netb来讲，不是一个普通的路由器，因为netb两边是同一个二层网络，所以需要配置arp proxy，将同一个二层网络隔离称为两个。
配置proxy_arp为1
docker exec -it netb bash -c "echo 1 > /proc/sys/net/ipv4/conf/eth1/proxy_arp"
docker exec -it netb bash -c "echo 1 > /proc/sys/net/ipv4/conf/netbside/proxy_arp"
通过一个脚本proxy-arp脚本设置arp响应
设置proxy-arp.conf
eth1 140.252.1.29
netbside 140.252.1.92
netbside 140.252.1.32
netbside 140.252.1.11
netbside 140.252.1.4
将配置文件添加到docker里面
docker cp proxy-arp.conf netb:/etc/proxy-arp.conf
docker cp proxy-arp netb:/root/proxy-arp
在docker里面执行脚本proxy-arp
docker exec -it netb bash
chmod +x proxy-arp
./proxy-arp start
十二、配置上面的二层网络里面所有机器的路由
在aix里面，默认外网访问路由是1.4
docker exec -it aix ip route add default via 140.252.1.4 dev eth1
在aix里面，可以通过下面的路由访问下面的二层网络
docker exec -it aix ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1
docker exec -it aix ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1
同理配置solaris
docker exec -it solaris ip route add default via 140.252.1.4 dev eth1
docker exec -it solaris ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1
docker exec -it solaris ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1
同理配置gemini
docker exec -it gemini ip route add default via 140.252.1.4 dev eth1
docker exec -it gemini ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1
docker exec -it gemini ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1
十三、在gateway里面创建一个网卡连接到br-ex
连接到br-ex用于连接外网
./pipework br-ex gateway 10.0.2.88/24@10.0.2.2
通过配置路由可以连接到下面的二层网络
docker exec -it gateway ip route add 140.252.13.32/27 via 140.252.1.29 dev eth1
docker exec -it gateway ip route add 140.252.13.64/27 via 140.252.1.29 dev eth1
到此为止，上下的二层网络都能相互访问了，并且可以访问外网。
脚本在这里https://github.com/popsuper1982/tcpipillustrated
欢迎关注个人微信公众号
