Linux 虚拟网络 VXLAN

`VXLAN`

一、什么是 `VXLAN`

VXLAN (Virtual Extensible LAN) 是一种网络虚拟化技术，用于在大规模数据中心和云环境中扩展虚拟局域网 (VLAN)。它允许在现有的网络基础设施上创建虚拟网络，实现不同数据中心或网络节点之间的隔离和互通。VXLAN 的主要特点和用途如下：

主要特点

扩展 VLAN 数量: 传统的 VLAN 使用 12 位标识符，最多支持 4096 个 VLAN。VXLAN 使用 24 位标识符 (VNI - VXLAN Network Identifier)，支持多达 16,777,216 (2^24) 个虚拟网络，大大增加了网络隔离的数量。
封装和隧道技术: VXLAN 通过将二层帧封装在 UDP 包中，然后通过三层网络（如 IP 网络）传输，实现了虚拟二层网络的扩展。这个过程被称为 VXLAN 隧道。
跨数据中心互联: VXLAN 可以在不同的物理数据中心之间创建虚拟网络，从而实现跨数据中心的虚拟机迁移和资源共享。
提高灵活性和可扩展性: 通过虚拟网络的逻辑隔离，VXLAN 提高了网络的灵活性和可扩展性，使网络管理员能够更灵活地管理和部署网络资源。

VXLAN 工作原理

VXLAN 隧道端点 (VTEP):
- VXLAN 隧道的两端称为 VTEP (VXLAN Tunnel Endpoints)。
- VTEP 负责对进入 VXLAN 隧道的流量进行封装（加上 VXLAN 和 UDP 头），以及对离开 VXLAN 隧道的流量进行解封装（去掉 VXLAN 和 UDP 头）。
数据包封装:
- 当数据包从源虚拟机发送到目标虚拟机时，VTEP 将数据包封装在 VXLAN 和 UDP 头中，并通过 IP 网络发送到目标 VTEP。
- 目标 VTEP 解封装数据包，并将原始数据包转发到目标虚拟机。
VNI (VXLAN Network Identifier):
- 每个 VXLAN 隧道使用唯一的 24 位 VNI 来标识虚拟网络。
- VNI 使得 VXLAN 能够在同一物理网络基础设施上支持多个隔离的虚拟网络。

VXLAN 架构示例

源虚拟机 (VM1) 位于物理主机 A，目标虚拟机 (VM2) 位于物理主机 B。
物理主机 A 和 B 都具有 VTEP 功能，负责封装和解封装 VXLAN 数据包。
VM1 发送数据包到 VM2:
- 主机 A 的 VTEP 将数据包封装在 VXLAN 和 UDP 头中。
- 数据包通过 IP 网络传输到主机 B 的 VTEP。
- 主机 B 的 VTEP 解封装数据包，并将其转发到 VM2。

优势

隔离和安全性: VXLAN 提供逻辑隔离，增强网络安全性。
跨数据中心连接: 支持跨数据中心的虚拟机迁移和资源共享。
扩展性: 支持大量虚拟网络，提高网络资源的利用率。

应用场景

大规模云计算环境: 支持大规模、多租户的云计算环境。
数据中心互联: 实现跨数据中心的资源互通和灾备。
网络虚拟化: 提供更灵活的虚拟网络管理和部署。

通过使用 VXLAN 技术，数据中心和云环境可以实现更加灵活、高效和可扩展的网络架构。

二、使用 `Containerlab` 模拟网络

a | 拓扑

b | 网络拓扑文件

# vxlan.clab.yml
name: vxlan
topology:
  nodes:
    gw1:
      kind: linux
      image: vyos/vyos:1.2.8
      cmd: /sbin/init
      binds:
        - /lib/modules:/lib/modules
        - ./startup-conf/gw1.cfg:/opt/vyatta/etc/config/config.boot

    gw2:
      kind: linux
      image: vyos/vyos:1.2.8
      cmd: /sbin/init
      binds:
        - /lib/modules:/lib/modules
        - ./startup-conf/gw2.cfg:/opt/vyatta/etc/config/config.boot

    server1:
      kind: linux
      image: harbor.dayuan1997.com/devops/nettool:0.9
      exec:
      - ip addr add 10.1.5.10/24 dev net0
      - ip route replace default via 10.1.5.1

    server2:
      kind: linux
      image: harbor.dayuan1997.com/devops/nettool:0.9
      exec:
      - ip addr add 10.1.8.10/24 dev net0
      - ip route replace default via 10.1.8.1


  links:
    - endpoints: ["gw1:eth1", "server1:net0"]
    - endpoints: ["gw2:eth1", "server2:net0"]
    - endpoints: ["gw1:eth2", "gw2:eth2"]

c | `VyOS` 配置文件

gw1.cfg

配置文件

# ./startup-conf/gw1.cfg
interfaces {
    ethernet eth1 {
        address 10.1.5.1/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    ethernet eth2 {
        address 172.12.1.10/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    loopback lo {
    }
    vxlan vxlan0 {
        # 配置 vxlan 设置本端地址，远端地址，vni信息
        address 1.1.1.1/24
        remote 172.12.1.11
        vni 10
    }
}
protocols {
    static {
        # 静态路由，指定到达 10.1.8.0/24 网络的下一条为 1.1.1.2， 1.1.1.2 和 1.1.1.1 组成了 vxlan 隧道
        route 10.1.8.0/24 {
            next-hop 1.1.1.2 {
            }
        }
    }
}
system {
    config-management {
        commit-revisions 100
    }
    console {
        device ttyS0 {
            speed 9600
        }
    }
    host-name vyos
    login {
        user vyos {
            authentication {
                encrypted-password $6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/
                plaintext-password ""
            }
            level admin
        }
    }
    ntp {
        server 0.pool.ntp.org {
        }
        server 1.pool.ntp.org {
        }
        server 2.pool.ntp.org {
        }
    }
    syslog {
        global {
            facility all {
                level info
            }
            facility protocols {
                level debug
            }
        }
    }
    time-zone UTC
}


/* Warning: Do not remove the following line. */
/* === vyatta-config-version: "dns-forwarding@1:mdns@1:ssh@1:webproxy@1:webgui@1:zone-policy@1:broadcast-relay@1:l2tp@1:cluster@1:snmp@1:pppoe-server@2:conntrack@1:wanloadbalance@3:webproxy@2:firewall@5:ntp@1:dhcp-server@5:dhcp-relay@2:system@10:nat@4:quagga@7:qos@1:ipsec@5:conntrack-sync@1:config-management@1:vrrp@2:pptp@1" === */
/* Release version: 1.2.8 */

gw2.cfg

配置文件

# ./startup-conf/gw2.cfg
interfaces {
    ethernet eth1 {
        address 10.1.8.1/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    ethernet eth2 {
        address 172.12.1.11/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    loopback lo {
    }
    vxlan vxlan0 {
        # 配置 vxlan 设置本端地址，远端地址，vni信息
        address 1.1.1.2/24
        remote 172.12.1.10
        vni 10
    }
}
protocols {
    static {
        # 静态路由，指定到达 10.1.5.0/24 网络的下一条为 1.1.1.1， 1.1.1.1 和 1.1.1.2 组成了 vxlan 隧道
        route 10.1.5.0/24 {
            next-hop 1.1.1.1 {
            }
        }
    }
}
system {
    config-management {
        commit-revisions 100
    }
    console {
        device ttyS0 {
            speed 9600
        }
    }
    host-name vyos
    login {
        user vyos {
            authentication {
                encrypted-password $6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/
                plaintext-password ""
            }
            level admin
        }
    }
    ntp {
        server 0.pool.ntp.org {
        }
        server 1.pool.ntp.org {
        }
        server 2.pool.ntp.org {
        }
    }
    syslog {
        global {
            facility all {
                level info
            }
            facility protocols {
                level debug
            }
        }
    }
    time-zone UTC
}


/* Warning: Do not remove the following line. */
/* === vyatta-config-version: "dns-forwarding@1:mdns@1:ssh@1:webproxy@1:webgui@1:zone-policy@1:broadcast-relay@1:l2tp@1:cluster@1:snmp@1:pppoe-server@2:conntrack@1:wanloadbalance@3:webproxy@2:firewall@5:ntp@1:dhcp-server@5:dhcp-relay@2:system@10:nat@4:quagga@7:qos@1:ipsec@5:conntrack-sync@1:config-management@1:vrrp@2:pptp@1" === */
/* Release version: 1.2.8 */

d | 部署服务

# tree -L 2 ./
./
├── vxlan.clab.yml
└── startup-conf
    ├── gw1.cfg
    └── gw2.cfg

# clab deploy -t vxlan.clab.yml

INFO[0000] Containerlab v0.54.2 started                 
INFO[0000] Parsing & checking topology file: clab.yaml  
INFO[0000] Creating docker network: Name="clab", IPv4Subnet="172.20.20.0/24", IPv6Subnet="2001:172:20:20::/64", MTU=1500 
INFO[0000] Creating lab directory: /root/wcni-kind/network/5-demo-cni/6-vxlan/2/clab-vxlan 
INFO[0000] Creating container: "server1"                
INFO[0000] Creating container: "gw2"                    
INFO[0001] Creating container: "server2"                
INFO[0001] Creating container: "gw1"                    
INFO[0001] Created link: gw2:eth1 <--> server2:net0     
INFO[0002] Created link: gw1:eth1 <--> server1:net0     
INFO[0002] Created link: gw1:eth2 <--> gw2:eth2         
INFO[0002] Executed command "ip addr add 10.1.5.10/24 dev net0" on the node "server1". stdout: 
INFO[0002] Executed command "ip route replace default via 10.1.5.1" on the node "server1". stdout: 
INFO[0002] Executed command "ip addr add 10.1.8.10/24 dev net0" on the node "server2". stdout: 
INFO[0002] Executed command "ip route replace default via 10.1.8.1" on the node "server2". stdout: 
INFO[0002] Adding containerlab host entries to /etc/hosts file 
INFO[0002] Adding ssh config for containerlab nodes     
INFO[0002] 🎉 New containerlab version 0.55.0 is available! Release notes: https://containerlab.dev/rn/0.55/
Run 'containerlab version upgrade' to upgrade or go check other installation options at https://containerlab.dev/install/ 
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+
| # |        Name        | Container ID |                  Image                   | Kind  |  State  |  IPv4 Address  |     IPv6 Address     |
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+
| 1 | clab-vxlan-gw1     | e88d3f56919b | vyos/vyos:1.2.8                          | linux | running | 172.20.20.5/24 | 2001:172:20:20::5/64 |
| 2 | clab-vxlan-gw2     | 80af0e770be4 | vyos/vyos:1.2.8                          | linux | running | 172.20.20.3/24 | 2001:172:20:20::3/64 |
| 3 | clab-vxlan-server1 | 25044f7f172a | harbor.dayuan1997.com/devops/nettool:0.9 | linux | running | 172.20.20.2/24 | 2001:172:20:20::2/64 |
| 4 | clab-vxlan-server2 | 21cab3d90c8c | harbor.dayuan1997.com/devops/nettool:0.9 | linux | running | 172.20.20.4/24 | 2001:172:20:20::4/64 |
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+

e | 查看 4 个容器路由表信息

## clab-vxlan-server1 主机路由
# lo clab-vxlan-server1 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.1.5.1        0.0.0.0         UG    0      0        0 net0
10.1.5.0        0.0.0.0         255.255.255.0   U     0      0        0 net0
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-server2 主机路由
# lo clab-vxlan-server2 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.1.8.1        0.0.0.0         UG    0      0        0 net0
10.1.8.0        0.0.0.0         255.255.255.0   U     0      0        0 net0
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-gw1 主机路由
# lo clab-vxlan-gw1 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.20.20.1     0.0.0.0         UG    0      0        0 eth0
1.1.1.0         0.0.0.0         255.255.255.0   U     0      0        0 vxlan0
10.1.5.0        0.0.0.0         255.255.255.0   U     0      0        0 eth1
10.1.8.0        1.1.1.2         255.255.255.0   UG    20     0        0 vxlan0
172.12.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth2
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-gw2 主机路由
# lo clab-vxlan-gw2 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.20.20.1     0.0.0.0         UG    0      0        0 eth0
1.1.1.0         0.0.0.0         255.255.255.0   U     0      0        0 vxlan0
10.1.5.0        1.1.1.1         255.255.255.0   UG    20     0        0 vxlan0
10.1.8.0        0.0.0.0         255.255.255.0   U     0      0        0 eth1
172.12.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth2
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

f｜抓包分析

s1.cap 包分析

server1 net0 网卡

server1~$ ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
7: eth0@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.2/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::2/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1402/64 scope link 
       valid_lft forever preferred_lft forever
12: net0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:a0:58:b1 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.5.10/24 scope global net0
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fea0:58b1/64 scope link 
       valid_lft forever preferred_lft forever

server1~$ ip n s
10.1.5.1 dev net0 lladdr aa:c1:ab:55:d9:ad STALE

icmp 包中，源 mac 地址：aa:c1:ab:a0:58:b1 目标 mac 地址：aa:c1:ab:55:d9:ad , 分别为 s1 主机的 net0 网卡的 mac 地址，和 gw1 路由器 10.1.5.1 ip 的 mac 地址

gw1.cap 包分析

gw1 eth2 网卡

root@gw1:/# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 96:18:a3:86:fd:20 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.1/24 brd 1.1.1.255 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::9418:a3ff:fe86:fd20/64 scope link 
       valid_lft forever preferred_lft forever
11: eth1@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:55:d9:ad brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.5.1/24 brd 10.1.5.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe55:d9ad/64 scope link 
       valid_lft forever preferred_lft forever
15: eth2@if16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:54:23:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet 172.12.1.10/24 brd 172.12.1.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe54:23f0/64 scope link 
       valid_lft forever preferred_lft forever
19: eth0@if20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:05 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.5/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::5/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1405/64 scope link 
       valid_lft forever preferred_lft forever

root@gw1:/# ip n s
172.12.1.11 dev eth2 lladdr aa:c1:ab:19:80:0c STALE
172.20.20.1 dev eth0 lladdr 02:42:fc:d0:94:b2 STALE
10.1.5.10 dev eth1 lladdr aa:c1:ab:a0:58:b1 STALE
1.1.1.2 dev vxlan0 lladdr f2:c7:c9:c0:91:c5 STALE
fe80::a8c1:abff:fea0:58b1 dev eth1 lladdr aa:c1:ab:a0:58:b1 STALE
fe80::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE
fe80::42:acff:fe14:1404 dev eth0 lladdr 02:42:ac:14:14:04 STALE
fe80::42:acff:fe14:1402 dev eth0 lladdr 02:42:ac:14:14:02 STALE
2001:172:20:20::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE

icmp 包中，外部源 mac 地址：aa:c1:ab:54:23:f0 目标 mac 地址：aa:c1:ab:19:80:0c ，分别为 gw1 路由器的 eth2 网卡的 mac 地址，和 gw2 路由器 172.12.1.11 ip 的 mac 地址
内部源 mac 地址：96:18:a3:86:fd:20 目标 mac 地址：f2:c7:c9:c0:91:c5 ，分别为 gw1 路由器的 vxlan0 网卡的 mac 地址，和 gw2 路由器 1.1.1.2 ip 的 mac 地址

在重新抓包 vxlan0 网卡，分析数据包

icmp 包中，源 mac 地址：96:18:a3:86:fd:20 目标 mac 地址：f2:c7:c9:c0:91:c5 ，分别为 gw1 路由器的 vxlan0 网卡的 mac 地址，和 gw2 路由器 1.1.1.2 ip 的 mac 地址

查看网卡的 vxlan 信息

root@gw1:/# ip -d link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 96:18:a3:86:fd:20 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 10 remote 172.12.1.11 srcport 0 0 dstport 8472 ttl 16 ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535

所以分析得出：

eth2 网络的数据包，只是在 vxlan 网卡的数据包基础上在重新为其头部封装 ip 数据包头，数据链路包头，并通过已有的网络路由，进行包传输。
vxlan 数据包使用 udp 协议进行传输，在数据包中还包含有 vxlan 信息
传输过程中， vxlan 内部的 ip 地址，源 ip 和目标 ip 不会发生改变
gw2.cap 包分析

gw2 eth2 网卡

root@gw2:/# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether f2:c7:c9:c0:91:c5 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.2/24 brd 1.1.1.255 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::f0c7:c9ff:fec0:91c5/64 scope link 
       valid_lft forever preferred_lft forever
9: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:03 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.3/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::3/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1403/64 scope link 
       valid_lft forever preferred_lft forever
14: eth1@if13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:a3:83:7c brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.8.1/24 brd 10.1.8.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fea3:837c/64 scope link 
       valid_lft forever preferred_lft forever
16: eth2@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:19:80:0c brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet 172.12.1.11/24 brd 172.12.1.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe19:800c/64 scope link 
       valid_lft forever preferred_lft forever

root@gw2:/#  ip n s
172.12.1.10 dev eth2 lladdr aa:c1:ab:54:23:f0 STALE
10.1.8.10 dev eth1 lladdr aa:c1:ab:51:78:51 STALE
1.1.1.1 dev vxlan0 lladdr 96:18:a3:86:fd:20 STALE
172.20.20.1 dev eth0 lladdr 02:42:fc:d0:94:b2 STALE
fe80::42:acff:fe14:1404 dev eth0 lladdr 02:42:ac:14:14:04 STALE
2001:172:20:20::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE
fe80::42:acff:fe14:1402 dev eth0 lladdr 02:42:ac:14:14:02 STALE
fe80::a8c1:abff:fe51:7851 dev eth1 lladdr aa:c1:ab:51:78:51 STALE
fe80::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE

icmp 包中，内部 mac 信息和外部 mac 信息同 gw1 路由器 eth2 网卡信息，他们互相为对端的网口， vxlan 信息中，使用 udp 进行发生数据包，数据包中的 vid 10 等于配置文件配置信息，并且数据包需要发送到 gw2 路由器 8472 端口，查看端口信息

root@gw2:/# netstat -anp | grep 8472
udp        0      0 0.0.0.0:8472            0.0.0.0:*                           -

内核模块或应用程序对数据包进行VXLAN头解析。VXLAN头包含一个VXLAN网络标识符（VNI），用于标识不同的VXLAN隧道。根据VXLAN头中的VNI，对端主机查找对应的VXLAN隧道配置。查看网卡的 vxlan 信息，

root@gw2:/# ip -d link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether f2:c7:c9:c0:91:c5 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 10 remote 172.12.1.10 srcport 0 0 dstport 8472 ttl 16 ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535

最终会送到 vxlan0 接口

s2.cap 包分析

server2 net0 网卡

server2~$ ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
13: net0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:51:78:51 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.8.10/24 scope global net0
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe51:7851/64 scope link 
       valid_lft forever preferred_lft forever
17: eth0@if18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:04 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.4/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::4/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1404/64 scope link 
       valid_lft forever preferred_lft forever

server2~$ ip n s
10.1.8.1 dev net0 lladdr aa:c1:ab:a3:83:7c STALE

icmp 包中，源 mac 地址：aa:c1:ab:a3:83:7c 目标 mac 地址：aa:c1:ab:51:78:51 ，分别为 gw2 路由器 10.1.8.1 ip 的 mac 地址，和 s2 路由器 net0 的 mac 地址

总结：查看上面抓包图片，可以分析到，在 vxlan 模式中，数据包的转发流程中：
- 数据包在送到 vxlan 接口之前，mac 地址，每经过一个节点，源 mac 和目标 mac 均会发生改变。送到 vxlan 接口之后，内层 mac 不变，外层 mac 变化
- 数据包在送到 vxlan 接口之前，源 ip 和目标 ip 不会发生改变。送到 vxlan 接口之后，内层源 ip 和目标 ip 不会发生改变，外层源 ip 和目标 ip 会多一次封装
- vxlan 数据包使用 udp 协议进行传输，在数据包的中包含有 vxlan 信息 vid 等，并且需要双方都监听在一个 udp 端口上，比如: 8472

g | 数据包流向

数据从 server1 服务器发出，通过查看本机路由表，送往 gw1 网关。路由: default via 10.1.5.1 dev net0
gw1 网关查看自身路由后，会送往 vxlan0 接口，因为目的地址为 10.1.8.10。路由: 10.1.8.0/24 via 1.1.1.2 dev vxlan0 proto static metric 20
vxlan0 接口为 vxlan 模式，会重新封装数据包，封装信息查看 vxlan 配置信息 vxlan id 10 remote 172.12.1.11 srcport 0 0 dstport 8472
数据包在封装过程中，发新的目的地址为 172.12.1.11，会查看路由表，送往 eth2 接口。路由: 172.12.1.0/24 dev eth2 proto kernel scope link src 172.12.1.10
数据封装完成后，会送往 eth2 接口，并送往对端 gw2 主机。
对端 gw2 主机接受到数据包后，发现这个是一个送往 UDP 8472 接口的 vxlan 数据包，将数据包交给监听 UDP 8472 端口的应用程序或内核模块处理。
内核模块或应用程序对数据包进行 VXLAN 头解析。VXLAN 头包含一个 VXLAN 网络标识符（ VNI ），用于标识不同的 VXLAN 隧道。
查看到本次的 VNI == 10 ，会送往 vxlan0 接口解封装 vxlan id 10 remote 172.12.1.10 srcport 0 0 dstport 8472
解封装后发现内部的数据包，目的地址为 10.1.8.10 ，通过查看本机路由表，送往 eth1 网卡。路由: 10.1.8.0/24 dev eth1 proto kernel scope link src 10.1.8.1
通过 eth1 网卡，最终会把数据包送到 server2 主机

h | `VyOS` `cli` 配置

gw1 cli 接口配置

root@gw1:/# show configuration commands
set interfaces ethernet eth1 address '10.1.5.1/24'
set interfaces ethernet eth1 duplex 'auto'
set interfaces ethernet eth1 smp-affinity 'auto'
set interfaces ethernet eth1 speed 'auto'
set interfaces ethernet eth2 address '172.12.1.10/24'
set interfaces ethernet eth2 duplex 'auto'
set interfaces ethernet eth2 smp-affinity 'auto'
set interfaces ethernet eth2 speed 'auto'
set interfaces loopback lo
set interfaces vxlan vxlan0 address '1.1.1.1/24'
set interfaces vxlan vxlan0 remote '172.12.1.11'
set interfaces vxlan vxlan0 vni '10'
set protocols static route 10.1.8.0/24 next-hop 1.1.1.2
set system config-management commit-revisions '100'
set system console device ttyS0 speed '9600'
set system host-name 'vyos'
set system login user vyos authentication encrypted-password '$6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/'
set system login user vyos authentication plaintext-password ''
set system login user vyos level 'admin'
set system ntp server 0.pool.ntp.org
set system ntp server 1.pool.ntp.org
set system ntp server 2.pool.ntp.org
set system syslog global facility all level 'info'
set system syslog global facility protocols level 'debug'
set system time-zone 'UTC'

gw2 cli 接口配置

root@gw2:/# show configuration commands
set interfaces ethernet eth1 address '10.1.8.1/24'
set interfaces ethernet eth1 duplex 'auto'
set interfaces ethernet eth1 smp-affinity 'auto'
set interfaces ethernet eth1 speed 'auto'
set interfaces ethernet eth2 address '172.12.1.11/24'
set interfaces ethernet eth2 duplex 'auto'
set interfaces ethernet eth2 smp-affinity 'auto'
set interfaces ethernet eth2 speed 'auto'
set interfaces loopback lo
set interfaces vxlan vxlan0 address '1.1.1.2/24'
set interfaces vxlan vxlan0 remote '172.12.1.10'
set interfaces vxlan vxlan0 vni '10'
set protocols static route 10.1.5.0/24 next-hop 1.1.1.1
set system config-management commit-revisions '100'
set system console device ttyS0 speed '9600'
set system host-name 'vyos'
set system login user vyos authentication encrypted-password '$6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/'
set system login user vyos authentication plaintext-password ''
set system login user vyos level 'admin'
set system ntp server 0.pool.ntp.org
set system ntp server 1.pool.ntp.org
set system ntp server 2.pool.ntp.org
set system syslog global facility all level 'info'
set system syslog global facility protocols level 'debug'
set system time-zone 'UTC'

i | 销毁服务

# clab destroy -t vxlan.clab.yml

三、手动搭建 `vxlan` 网络

a | 拓扑

b | 配置命令

host 141 主机配置命令

# host 141
## 创建名称空间
ip netns add ns1

## 创建 br0 类型为网桥
ip l a br0 type bridge
ip l s br0 up

## 创建 1对 veth pair 网卡
ip l a int0 type veth peer name br-int0

## ns1 配置信息，网卡 int0 一端插到 ns1，一端插到 br0 网桥
ip l s int0 netns ns1
ip netns exec ns1 ip l s int0 up
ip netns exec ns1 ip a a 10.1.5.10/24 dev int0
ip netns exec ns1 ip r a default via 10.1.5.1 dev int0

## veth pair 网卡另一端插到 br0 网桥
ip l s br-int0 master br0
ip l s br-int0 up

## br0 网卡配置网关地址
ip a a 10.1.5.1/24 dev br0

## 创建 vxlan 
ip link add vxlan0 type vxlan id 20 dstport 4789 remote 172.16.94.142 dev ens33 
ip addr a 1.1.1.1/24 dev vxlan0
ip link set vxlan0 up

## 添加路由
ip r a 10.1.8.0/24 via 1.1.1.2 dev vxlan0

host 142 主机配置命令

# host 142
## 创建名称空间
ip netns add ns1

## 创建 br0 类型为网桥
ip l a br0 type bridge
ip l s br0 up

## 创建 1对 veth pair 网卡
ip l a int0 type veth peer name br-int0

## ns1 配置信息，网卡 int0 一端插到 ns1，一端插到 br0 网桥
ip l s int0 netns ns1
ip netns exec ns1 ip l s int0 up
ip netns exec ns1 ip a a 10.1.8.10/24 dev int0
ip netns exec ns1 ip r a default via 10.1.8.1

## veth pair 网卡另一端插到 br0 网桥
ip l s br-int0 master br0
ip l s br-int0 up

## br0 网卡是在为网关 宿主机添加路由 打通网络
ip a a 10.1.8.1/24 dev br0

## 创建 vxlan 
ip link add vxlan0 type vxlan id 20 dstport 4789 remote 172.16.94.141 dev ens33 
ip addr add 1.1.1.2/24 dev vxlan0
ip link set vxlan0 up

## 添加路由
ip r a 10.1.5.0/24 via 1.1.1.1 dev vxlan0

c | 测试网络

# ip netns exec ns1 ping 10.1.8.10 -c 1
PING 10.1.8.10 (10.1.8.10) 56(84) bytes of data.
64 bytes from 10.1.8.10: icmp_seq=1 ttl=62 time=1.31 ms

--- 10.1.8.10 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.311/1.311/1.311/0.000 ms

d | `IP` 路由信息查看

141 主机 ns1 名称空间

# ip netns exec ns1 ip a l
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
6: int0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 9e:1b:0c:49:40:99 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.5.10/24 scope global int0
       valid_lft forever preferred_lft forever
    inet6 fe80::9c1b:cff:fe49:4099/64 scope link 
       valid_lft forever preferred_lft forever

# ip netns exec ns1 ip r s
default via 10.1.5.1 dev int0 
10.1.5.0/24 dev int0 proto kernel scope link src 10.1.5.10

141 主机

# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:81:cc:3a brd ff:ff:ff:ff:ff:ff
    inet 172.16.94.141/24 brd 172.16.94.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe81:cc3a/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:b8:4d:9e:68 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 06:43:87:56:45:a8 brd ff:ff:ff:ff:ff:ff
    inet 10.1.5.1/24 scope global br0
       valid_lft forever preferred_lft forever
    inet6 fe80::dcda:30ff:fe41:c8f0/64 scope link 
       valid_lft forever preferred_lft forever
5: br-int0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br0 state UP group default qlen 1000
    link/ether 06:43:87:56:45:a8 brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet6 fe80::443:87ff:fe56:45a8/64 scope link 
       valid_lft forever preferred_lft forever
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 3e:46:68:53:c6:df brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.1/24 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::3c46:68ff:fe53:c6df/64 scope link 
       valid_lft forever preferred_lft forever

# ip -d link show
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 3e:46:68:53:c6:df brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 20 remote 172.16.94.142 dev ens33 srcport 0 0 dstport 4789 ttl auto ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

# ip r s
default via 172.16.94.2 dev ens33 proto static 
1.1.1.0/24 dev vxlan0 proto kernel scope link src 1.1.1.1 
10.1.5.0/24 dev br0 proto kernel scope link src 10.1.5.1 
10.1.8.0/24 via 1.1.1.2 dev vxlan0 
172.16.94.0/24 dev ens33 proto kernel scope link src 172.16.94.141 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown

142 主机 ns1 名称空间

# ip netns exec ns1 ip a l
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
6: int0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 5e:98:37:4c:e0:b7 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.8.10/24 scope global int0
       valid_lft forever preferred_lft forever
    inet6 fe80::5c98:37ff:fe4c:e0b7/64 scope link 
       valid_lft forever preferred_lft forever

# ip netns exec ns1 ip r s
default via 10.1.8.1 dev int0 
10.1.8.0/24 dev int0 proto kernel scope link src 10.1.8.10

142 主机

# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:1a:5c:d3 brd ff:ff:ff:ff:ff:ff
    inet 172.16.94.142/24 brd 172.16.94.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe1a:5cd3/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:fe:24:42:c3 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 66:e7:be:4a:ef:b0 brd ff:ff:ff:ff:ff:ff
    inet 10.1.8.1/24 scope global br0
       valid_lft forever preferred_lft forever
    inet6 fe80::c886:38ff:fe9b:51b4/64 scope link 
       valid_lft forever preferred_lft forever
5: br-int0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br0 state UP group default qlen 1000
    link/ether 66:e7:be:4a:ef:b0 brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet6 fe80::64e7:beff:fe4a:efb0/64 scope link 
       valid_lft forever preferred_lft forever
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 82:d7:29:06:3c:32 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.2/24 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::80d7:29ff:fe06:3c32/64 scope link 
       valid_lft forever preferred_lft forever

# ip -d link show
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 82:d7:29:06:3c:32 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 20 remote 172.16.94.141 dev ens33 srcport 0 0 dstport 4789 ttl auto ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

# ip r s
default via 172.16.94.2 dev ens33 proto static 
1.1.1.0/24 dev vxlan0 proto kernel scope link src 1.1.1.2 
10.1.5.0/24 via 1.1.1.1 dev vxlan0 
10.1.8.0/24 dev br0 proto kernel scope link src 10.1.8.1 
172.16.94.0/24 dev ens33 proto kernel scope link src 172.16.94.142 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown

e | 资源回收

## 141
# ip netns del ns1 && ip l d br0 && reboot

## 142
# ip netns del ns1 && ip l d br0 && reboot

posted @ 2024-06-18 16:00 evescn 阅读(6) 评论(0) 编辑收藏举报

指间灵动，快码加编

刷新页面返回顶部

evescn

Linux 虚拟网络 VXLAN

VXLAN

一、什么是 VXLAN

主要特点

VXLAN 工作原理

VXLAN 架构示例

优势

应用场景

二、使用 Containerlab 模拟网络

a | 拓扑

b | 网络拓扑文件

c | VyOS 配置文件

d | 部署服务

e | 查看 4 个容器路由表信息

f｜ 抓包分析

g | 数据包流向

h | VyOS cli 配置

i | 销毁服务

三、手动搭建 vxlan 网络

a | 拓扑

b | 配置命令

c | 测试网络

d | IP 路由信息查看

e | 资源回收

公告

`VXLAN`

一、什么是 `VXLAN`

二、使用 `Containerlab` 模拟网络

c | `VyOS` 配置文件

f｜抓包分析

h | `VyOS` `cli` 配置

三、手动搭建 `vxlan` 网络

d | `IP` 路由信息查看