Linux 虚拟网络 VXLAN

VXLAN

img

一、什么是 VXLAN

VXLAN (Virtual Extensible LAN) 是一种网络虚拟化技术,用于在大规模数据中心和云环境中扩展虚拟局域网 (VLAN)。它允许在现有的网络基础设施上创建虚拟网络,实现不同数据中心或网络节点之间的隔离和互通。VXLAN 的主要特点和用途如下:

主要特点

  1. 扩展 VLAN 数量: 传统的 VLAN 使用 12 位标识符,最多支持 4096 个 VLAN。VXLAN 使用 24 位标识符 (VNI - VXLAN Network Identifier),支持多达 16,777,216 (2^24) 个虚拟网络,大大增加了网络隔离的数量。

  2. 封装和隧道技术: VXLAN 通过将二层帧封装在 UDP 包中,然后通过三层网络(如 IP 网络)传输,实现了虚拟二层网络的扩展。这个过程被称为 VXLAN 隧道。

  3. 跨数据中心互联: VXLAN 可以在不同的物理数据中心之间创建虚拟网络,从而实现跨数据中心的虚拟机迁移和资源共享。

  4. 提高灵活性和可扩展性: 通过虚拟网络的逻辑隔离,VXLAN 提高了网络的灵活性和可扩展性,使网络管理员能够更灵活地管理和部署网络资源。

VXLAN 工作原理

  1. VXLAN 隧道端点 (VTEP):

    • VXLAN 隧道的两端称为 VTEP (VXLAN Tunnel Endpoints)。
    • VTEP 负责对进入 VXLAN 隧道的流量进行封装(加上 VXLAN 和 UDP 头),以及对离开 VXLAN 隧道的流量进行解封装(去掉 VXLAN 和 UDP 头)。
  2. 数据包封装:

    • 当数据包从源虚拟机发送到目标虚拟机时,VTEP 将数据包封装在 VXLAN 和 UDP 头中,并通过 IP 网络发送到目标 VTEP。
    • 目标 VTEP 解封装数据包,并将原始数据包转发到目标虚拟机。
  3. VNI (VXLAN Network Identifier):

    • 每个 VXLAN 隧道使用唯一的 24 位 VNI 来标识虚拟网络。
    • VNI 使得 VXLAN 能够在同一物理网络基础设施上支持多个隔离的虚拟网络。

VXLAN 架构示例

  1. 源虚拟机 (VM1) 位于物理主机 A,目标虚拟机 (VM2) 位于物理主机 B。
  2. 物理主机 A 和 B 都具有 VTEP 功能,负责封装和解封装 VXLAN 数据包。
  3. VM1 发送数据包到 VM2:
    • 主机 A 的 VTEP 将数据包封装在 VXLAN 和 UDP 头中。
    • 数据包通过 IP 网络传输到主机 B 的 VTEP。
    • 主机 B 的 VTEP 解封装数据包,并将其转发到 VM2。

优势

  • 隔离和安全性: VXLAN 提供逻辑隔离,增强网络安全性。
  • 跨数据中心连接: 支持跨数据中心的虚拟机迁移和资源共享。
  • 扩展性: 支持大量虚拟网络,提高网络资源的利用率。

应用场景

  • 大规模云计算环境: 支持大规模、多租户的云计算环境。
  • 数据中心互联: 实现跨数据中心的资源互通和灾备。
  • 网络虚拟化: 提供更灵活的虚拟网络管理和部署。

通过使用 VXLAN 技术,数据中心和云环境可以实现更加灵活、高效和可扩展的网络架构。

二、使用 Containerlab 模拟网络

a | 拓扑

拓扑

b | 网络拓扑文件

# vxlan.clab.yml
name: vxlan
topology:
  nodes:
    gw1:
      kind: linux
      image: vyos/vyos:1.2.8
      cmd: /sbin/init
      binds:
        - /lib/modules:/lib/modules
        - ./startup-conf/gw1.cfg:/opt/vyatta/etc/config/config.boot

    gw2:
      kind: linux
      image: vyos/vyos:1.2.8
      cmd: /sbin/init
      binds:
        - /lib/modules:/lib/modules
        - ./startup-conf/gw2.cfg:/opt/vyatta/etc/config/config.boot

    server1:
      kind: linux
      image: harbor.dayuan1997.com/devops/nettool:0.9
      exec:
      - ip addr add 10.1.5.10/24 dev net0
      - ip route replace default via 10.1.5.1

    server2:
      kind: linux
      image: harbor.dayuan1997.com/devops/nettool:0.9
      exec:
      - ip addr add 10.1.8.10/24 dev net0
      - ip route replace default via 10.1.8.1


  links:
    - endpoints: ["gw1:eth1", "server1:net0"]
    - endpoints: ["gw2:eth1", "server2:net0"]
    - endpoints: ["gw1:eth2", "gw2:eth2"]

c | VyOS 配置文件

  • gw1.cfg
配置文件
# ./startup-conf/gw1.cfg
interfaces {
    ethernet eth1 {
        address 10.1.5.1/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    ethernet eth2 {
        address 172.12.1.10/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    loopback lo {
    }
    vxlan vxlan0 {
        # 配置 vxlan 设置本端地址,远端地址,vni信息
        address 1.1.1.1/24
        remote 172.12.1.11
        vni 10
    }
}
protocols {
    static {
        # 静态路由,指定到达 10.1.8.0/24 网络的下一条为 1.1.1.2, 1.1.1.2 和 1.1.1.1 组成了 vxlan 隧道
        route 10.1.8.0/24 {
            next-hop 1.1.1.2 {
            }
        }
    }
}
system {
    config-management {
        commit-revisions 100
    }
    console {
        device ttyS0 {
            speed 9600
        }
    }
    host-name vyos
    login {
        user vyos {
            authentication {
                encrypted-password $6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/
                plaintext-password ""
            }
            level admin
        }
    }
    ntp {
        server 0.pool.ntp.org {
        }
        server 1.pool.ntp.org {
        }
        server 2.pool.ntp.org {
        }
    }
    syslog {
        global {
            facility all {
                level info
            }
            facility protocols {
                level debug
            }
        }
    }
    time-zone UTC
}


/* Warning: Do not remove the following line. */
/* === vyatta-config-version: "dns-forwarding@1:mdns@1:ssh@1:webproxy@1:webgui@1:zone-policy@1:broadcast-relay@1:l2tp@1:cluster@1:snmp@1:pppoe-server@2:conntrack@1:wanloadbalance@3:webproxy@2:firewall@5:ntp@1:dhcp-server@5:dhcp-relay@2:system@10:nat@4:quagga@7:qos@1:ipsec@5:conntrack-sync@1:config-management@1:vrrp@2:pptp@1" === */
/* Release version: 1.2.8 */
  • gw2.cfg
配置文件
# ./startup-conf/gw2.cfg
interfaces {
    ethernet eth1 {
        address 10.1.8.1/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    ethernet eth2 {
        address 172.12.1.11/24
        duplex auto
        smp-affinity auto
        speed auto
    }
    loopback lo {
    }
    vxlan vxlan0 {
        # 配置 vxlan 设置本端地址,远端地址,vni信息
        address 1.1.1.2/24
        remote 172.12.1.10
        vni 10
    }
}
protocols {
    static {
        # 静态路由,指定到达 10.1.5.0/24 网络的下一条为 1.1.1.1, 1.1.1.1 和 1.1.1.2 组成了 vxlan 隧道
        route 10.1.5.0/24 {
            next-hop 1.1.1.1 {
            }
        }
    }
}
system {
    config-management {
        commit-revisions 100
    }
    console {
        device ttyS0 {
            speed 9600
        }
    }
    host-name vyos
    login {
        user vyos {
            authentication {
                encrypted-password $6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/
                plaintext-password ""
            }
            level admin
        }
    }
    ntp {
        server 0.pool.ntp.org {
        }
        server 1.pool.ntp.org {
        }
        server 2.pool.ntp.org {
        }
    }
    syslog {
        global {
            facility all {
                level info
            }
            facility protocols {
                level debug
            }
        }
    }
    time-zone UTC
}


/* Warning: Do not remove the following line. */
/* === vyatta-config-version: "dns-forwarding@1:mdns@1:ssh@1:webproxy@1:webgui@1:zone-policy@1:broadcast-relay@1:l2tp@1:cluster@1:snmp@1:pppoe-server@2:conntrack@1:wanloadbalance@3:webproxy@2:firewall@5:ntp@1:dhcp-server@5:dhcp-relay@2:system@10:nat@4:quagga@7:qos@1:ipsec@5:conntrack-sync@1:config-management@1:vrrp@2:pptp@1" === */
/* Release version: 1.2.8 */

d | 部署服务

# tree -L 2 ./
./
├── vxlan.clab.yml
└── startup-conf
    ├── gw1.cfg
    └── gw2.cfg

# clab deploy -t vxlan.clab.yml
INFO[0000] Containerlab v0.54.2 started                 
INFO[0000] Parsing & checking topology file: clab.yaml  
INFO[0000] Creating docker network: Name="clab", IPv4Subnet="172.20.20.0/24", IPv6Subnet="2001:172:20:20::/64", MTU=1500 
INFO[0000] Creating lab directory: /root/wcni-kind/network/5-demo-cni/6-vxlan/2/clab-vxlan 
INFO[0000] Creating container: "server1"                
INFO[0000] Creating container: "gw2"                    
INFO[0001] Creating container: "server2"                
INFO[0001] Creating container: "gw1"                    
INFO[0001] Created link: gw2:eth1 <--> server2:net0     
INFO[0002] Created link: gw1:eth1 <--> server1:net0     
INFO[0002] Created link: gw1:eth2 <--> gw2:eth2         
INFO[0002] Executed command "ip addr add 10.1.5.10/24 dev net0" on the node "server1". stdout: 
INFO[0002] Executed command "ip route replace default via 10.1.5.1" on the node "server1". stdout: 
INFO[0002] Executed command "ip addr add 10.1.8.10/24 dev net0" on the node "server2". stdout: 
INFO[0002] Executed command "ip route replace default via 10.1.8.1" on the node "server2". stdout: 
INFO[0002] Adding containerlab host entries to /etc/hosts file 
INFO[0002] Adding ssh config for containerlab nodes     
INFO[0002] 🎉 New containerlab version 0.55.0 is available! Release notes: https://containerlab.dev/rn/0.55/
Run 'containerlab version upgrade' to upgrade or go check other installation options at https://containerlab.dev/install/ 
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+
| # |        Name        | Container ID |                  Image                   | Kind  |  State  |  IPv4 Address  |     IPv6 Address     |
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+
| 1 | clab-vxlan-gw1     | e88d3f56919b | vyos/vyos:1.2.8                          | linux | running | 172.20.20.5/24 | 2001:172:20:20::5/64 |
| 2 | clab-vxlan-gw2     | 80af0e770be4 | vyos/vyos:1.2.8                          | linux | running | 172.20.20.3/24 | 2001:172:20:20::3/64 |
| 3 | clab-vxlan-server1 | 25044f7f172a | harbor.dayuan1997.com/devops/nettool:0.9 | linux | running | 172.20.20.2/24 | 2001:172:20:20::2/64 |
| 4 | clab-vxlan-server2 | 21cab3d90c8c | harbor.dayuan1997.com/devops/nettool:0.9 | linux | running | 172.20.20.4/24 | 2001:172:20:20::4/64 |
+---+--------------------+--------------+------------------------------------------+-------+---------+----------------+----------------------+

e | 查看 4 个容器路由表信息

## clab-vxlan-server1 主机路由
# lo clab-vxlan-server1 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.1.5.1        0.0.0.0         UG    0      0        0 net0
10.1.5.0        0.0.0.0         255.255.255.0   U     0      0        0 net0
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-server2 主机路由
# lo clab-vxlan-server2 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.1.8.1        0.0.0.0         UG    0      0        0 net0
10.1.8.0        0.0.0.0         255.255.255.0   U     0      0        0 net0
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-gw1 主机路由
# lo clab-vxlan-gw1 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.20.20.1     0.0.0.0         UG    0      0        0 eth0
1.1.1.0         0.0.0.0         255.255.255.0   U     0      0        0 vxlan0
10.1.5.0        0.0.0.0         255.255.255.0   U     0      0        0 eth1
10.1.8.0        1.1.1.2         255.255.255.0   UG    20     0        0 vxlan0
172.12.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth2
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

## clab-vxlan-gw2 主机路由
# lo clab-vxlan-gw2 route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.20.20.1     0.0.0.0         UG    0      0        0 eth0
1.1.1.0         0.0.0.0         255.255.255.0   U     0      0        0 vxlan0
10.1.5.0        1.1.1.1         255.255.255.0   UG    20     0        0 vxlan0
10.1.8.0        0.0.0.0         255.255.255.0   U     0      0        0 eth1
172.12.1.0      0.0.0.0         255.255.255.0   U     0      0        0 eth2
172.20.20.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0

f| 抓包分析

  • s1.cap 包分析

server1 net0 网卡

img

server1~$ ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
7: eth0@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.2/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::2/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1402/64 scope link 
       valid_lft forever preferred_lft forever
12: net0@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:a0:58:b1 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.5.10/24 scope global net0
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fea0:58b1/64 scope link 
       valid_lft forever preferred_lft forever

server1~$ ip n s
10.1.5.1 dev net0 lladdr aa:c1:ab:55:d9:ad STALE

icmp 包中,源 mac 地址:aa:c1:ab:a0:58:b1 目标 mac 地址:aa:c1:ab:55:d9:ad , 分别为 s1 主机的 net0 网卡的 mac 地址,和 gw1 路由器 10.1.5.1 ipmac 地址

  • gw1.cap 包分析

gw1 eth2 网卡

img

root@gw1:/# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 96:18:a3:86:fd:20 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.1/24 brd 1.1.1.255 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::9418:a3ff:fe86:fd20/64 scope link 
       valid_lft forever preferred_lft forever
11: eth1@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:55:d9:ad brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.5.1/24 brd 10.1.5.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe55:d9ad/64 scope link 
       valid_lft forever preferred_lft forever
15: eth2@if16: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:54:23:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet 172.12.1.10/24 brd 172.12.1.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe54:23f0/64 scope link 
       valid_lft forever preferred_lft forever
19: eth0@if20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:05 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.5/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::5/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1405/64 scope link 
       valid_lft forever preferred_lft forever

root@gw1:/# ip n s
172.12.1.11 dev eth2 lladdr aa:c1:ab:19:80:0c STALE
172.20.20.1 dev eth0 lladdr 02:42:fc:d0:94:b2 STALE
10.1.5.10 dev eth1 lladdr aa:c1:ab:a0:58:b1 STALE
1.1.1.2 dev vxlan0 lladdr f2:c7:c9:c0:91:c5 STALE
fe80::a8c1:abff:fea0:58b1 dev eth1 lladdr aa:c1:ab:a0:58:b1 STALE
fe80::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE
fe80::42:acff:fe14:1404 dev eth0 lladdr 02:42:ac:14:14:04 STALE
fe80::42:acff:fe14:1402 dev eth0 lladdr 02:42:ac:14:14:02 STALE
2001:172:20:20::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE

icmp 包中,外部源 mac 地址:aa:c1:ab:54:23:f0 目标 mac 地址:aa:c1:ab:19:80:0c ,分别为 gw1 路由器的 eth2 网卡的 mac 地址,和 gw2 路由器 172.12.1.11 ipmac 地址
内部源 mac 地址:96:18:a3:86:fd:20 目标 mac 地址:f2:c7:c9:c0:91:c5 ,分别为 gw1 路由器的 vxlan0 网卡的 mac 地址,和 gw2 路由器 1.1.1.2 ipmac 地址

在重新抓包 vxlan0 网卡,分析数据包

img

icmp 包中,源 mac 地址:96:18:a3:86:fd:20 目标 mac 地址:f2:c7:c9:c0:91:c5 ,分别为 gw1 路由器的 vxlan0 网卡的 mac 地址,和 gw2 路由器 1.1.1.2 ipmac 地址

查看网卡的 vxlan 信息

root@gw1:/# ip -d link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 96:18:a3:86:fd:20 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 10 remote 172.12.1.11 srcport 0 0 dstport 8472 ttl 16 ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

所以分析得出:

  • eth2 网络的数据包,只是在 vxlan 网卡的数据包基础上在重新为其头部封装 ip 数据包头,数据链路包头,并通过已有的网络路由,进行包传输。

  • vxlan 数据包使用 udp 协议进行传输,在数据包中还包含有 vxlan 信息

  • 传输过程中, vxlan 内部的 ip 地址,源 ip 和 目标 ip 不会发生改变

  • gw2.cap 包分析

gw2 eth2 网卡

img

root@gw2:/# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether f2:c7:c9:c0:91:c5 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.2/24 brd 1.1.1.255 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::f0c7:c9ff:fec0:91c5/64 scope link 
       valid_lft forever preferred_lft forever
9: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:03 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.3/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::3/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1403/64 scope link 
       valid_lft forever preferred_lft forever
14: eth1@if13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:a3:83:7c brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.8.1/24 brd 10.1.8.255 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fea3:837c/64 scope link 
       valid_lft forever preferred_lft forever
16: eth2@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:19:80:0c brd ff:ff:ff:ff:ff:ff link-netnsid 2
    inet 172.12.1.11/24 brd 172.12.1.255 scope global eth2
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe19:800c/64 scope link 
       valid_lft forever preferred_lft forever

root@gw2:/#  ip n s
172.12.1.10 dev eth2 lladdr aa:c1:ab:54:23:f0 STALE
10.1.8.10 dev eth1 lladdr aa:c1:ab:51:78:51 STALE
1.1.1.1 dev vxlan0 lladdr 96:18:a3:86:fd:20 STALE
172.20.20.1 dev eth0 lladdr 02:42:fc:d0:94:b2 STALE
fe80::42:acff:fe14:1404 dev eth0 lladdr 02:42:ac:14:14:04 STALE
2001:172:20:20::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE
fe80::42:acff:fe14:1402 dev eth0 lladdr 02:42:ac:14:14:02 STALE
fe80::a8c1:abff:fe51:7851 dev eth1 lladdr aa:c1:ab:51:78:51 STALE
fe80::1 dev eth0 lladdr 02:42:fc:d0:94:b2 router STALE

icmp 包中,内部 mac 信息和 外部 mac 信息同 gw1 路由器 eth2 网卡信息,他们互相为对端的网口, vxlan 信息中,使用 udp 进行发生数据包,数据包中的 vid 10 等于配置文件配置信息,并且数据包需要发送到 gw2 路由器 8472 端口,查看端口信息

root@gw2:/# netstat -anp | grep 8472
udp        0      0 0.0.0.0:8472            0.0.0.0:*                           - 

内核模块或应用程序对数据包进行VXLAN头解析。VXLAN头包含一个VXLAN网络标识符(VNI),用于标识不同的VXLAN隧道。根据VXLAN头中的VNI,对端主机查找对应的VXLAN隧道配置。查看网卡的 vxlan 信息,

root@gw2:/# ip -d link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 
2: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether f2:c7:c9:c0:91:c5 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 10 remote 172.12.1.10 srcport 0 0 dstport 8472 ttl 16 ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

最终会送到 vxlan0 接口

  • s2.cap 包分析

server2 net0 网卡

img

img

server2~$ ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
13: net0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9500 qdisc noqueue state UP group default 
    link/ether aa:c1:ab:51:78:51 brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet 10.1.8.10/24 scope global net0
       valid_lft forever preferred_lft forever
    inet6 fe80::a8c1:abff:fe51:7851/64 scope link 
       valid_lft forever preferred_lft forever
17: eth0@if18: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:14:14:04 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.20.20.4/24 brd 172.20.20.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2001:172:20:20::4/64 scope global nodad 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fe14:1404/64 scope link 
       valid_lft forever preferred_lft forever

server2~$ ip n s
10.1.8.1 dev net0 lladdr aa:c1:ab:a3:83:7c STALE

icmp 包中,源 mac 地址:aa:c1:ab:a3:83:7c 目标 mac 地址:aa:c1:ab:51:78:51 ,分别为 gw2 路由器 10.1.8.1 ipmac 地址,和 s2 路由器 net0mac 地址

  • 总结:查看上面抓包图片,可以分析到,在 vxlan 模式中,数据包的转发流程中:
    • 数据包在送到 vxlan 接口之前,mac 地址,每经过一个节点,源 mac 和 目标 mac 均会发生改变。送到 vxlan 接口之后,内层 mac 不变,外层 mac 变化
    • 数据包在送到 vxlan 接口之前,源 ip 和 目标 ip 不会发生改变。送到 vxlan 接口之后,内层源 ip 和 目标 ip 不会发生改变,外层源 ip 和 目标 ip 会多一次封装
    • vxlan 数据包使用 udp 协议进行传输,在数据包的中包含有 vxlan 信息 vid 等,并且需要双方都监听在一个 udp 端口上,比如: 8472

g | 数据包流向

img

  • 数据从 server1 服务器发出,通过查看本机路由表,送往 gw1 网关。路由: default via 10.1.5.1 dev net0
  • gw1 网关查看自身路由后,会送往 vxlan0 接口,因为目的地址为 10.1.8.10。路由: 10.1.8.0/24 via 1.1.1.2 dev vxlan0 proto static metric 20
  • vxlan0 接口为 vxlan 模式,会重新封装数据包,封装信息查看 vxlan 配置信息 vxlan id 10 remote 172.12.1.11 srcport 0 0 dstport 8472
  • 数据包在封装过程中,发新的目的地址为 172.12.1.11,会查看路由表,送往 eth2 接口。路由: 172.12.1.0/24 dev eth2 proto kernel scope link src 172.12.1.10
  • 数据封装完成后,会送往 eth2 接口,并送往对端 gw2 主机。
  • 对端 gw2 主机接受到数据包后,发现这个是一个送往 UDP 8472 接口的 vxlan 数据包,将数据包交给监听 UDP 8472 端口的应用程序或内核模块处理。
  • 内核模块或应用程序对数据包进行 VXLAN 头解析。VXLAN 头包含一个 VXLAN 网络标识符( VNI ),用于标识不同的 VXLAN 隧道。
  • 查看到本次的 VNI == 10 ,会送往 vxlan0 接口解封装 vxlan id 10 remote 172.12.1.10 srcport 0 0 dstport 8472
  • 解封装后发现内部的数据包,目的地址为 10.1.8.10 ,通过查看本机路由表,送往 eth1 网卡。路由: 10.1.8.0/24 dev eth1 proto kernel scope link src 10.1.8.1
  • 通过 eth1 网卡,最终会把数据包送到 server2 主机

h | VyOS cli 配置

  • gw1 cli 接口配置
root@gw1:/# show configuration commands
set interfaces ethernet eth1 address '10.1.5.1/24'
set interfaces ethernet eth1 duplex 'auto'
set interfaces ethernet eth1 smp-affinity 'auto'
set interfaces ethernet eth1 speed 'auto'
set interfaces ethernet eth2 address '172.12.1.10/24'
set interfaces ethernet eth2 duplex 'auto'
set interfaces ethernet eth2 smp-affinity 'auto'
set interfaces ethernet eth2 speed 'auto'
set interfaces loopback lo
set interfaces vxlan vxlan0 address '1.1.1.1/24'
set interfaces vxlan vxlan0 remote '172.12.1.11'
set interfaces vxlan vxlan0 vni '10'
set protocols static route 10.1.8.0/24 next-hop 1.1.1.2
set system config-management commit-revisions '100'
set system console device ttyS0 speed '9600'
set system host-name 'vyos'
set system login user vyos authentication encrypted-password '$6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/'
set system login user vyos authentication plaintext-password ''
set system login user vyos level 'admin'
set system ntp server 0.pool.ntp.org
set system ntp server 1.pool.ntp.org
set system ntp server 2.pool.ntp.org
set system syslog global facility all level 'info'
set system syslog global facility protocols level 'debug'
set system time-zone 'UTC'
  • gw2 cli 接口配置
root@gw2:/# show configuration commands
set interfaces ethernet eth1 address '10.1.8.1/24'
set interfaces ethernet eth1 duplex 'auto'
set interfaces ethernet eth1 smp-affinity 'auto'
set interfaces ethernet eth1 speed 'auto'
set interfaces ethernet eth2 address '172.12.1.11/24'
set interfaces ethernet eth2 duplex 'auto'
set interfaces ethernet eth2 smp-affinity 'auto'
set interfaces ethernet eth2 speed 'auto'
set interfaces loopback lo
set interfaces vxlan vxlan0 address '1.1.1.2/24'
set interfaces vxlan vxlan0 remote '172.12.1.10'
set interfaces vxlan vxlan0 vni '10'
set protocols static route 10.1.5.0/24 next-hop 1.1.1.1
set system config-management commit-revisions '100'
set system console device ttyS0 speed '9600'
set system host-name 'vyos'
set system login user vyos authentication encrypted-password '$6$QxPS.uk6mfo$9QBSo8u1FkH16gMyAVhus6fU3LOzvLR9Z9.82m3tiHFAxTtIkhaZSWssSgzt4v4dGAL8rhVQxTg0oAG9/q11h/'
set system login user vyos authentication plaintext-password ''
set system login user vyos level 'admin'
set system ntp server 0.pool.ntp.org
set system ntp server 1.pool.ntp.org
set system ntp server 2.pool.ntp.org
set system syslog global facility all level 'info'
set system syslog global facility protocols level 'debug'
set system time-zone 'UTC'

i | 销毁服务

# clab destroy -t vxlan.clab.yml

三、手动搭建 vxlan 网络

a | 拓扑

拓扑

b | 配置命令

  • host 141 主机配置命令
# host 141
## 创建名称空间
ip netns add ns1

## 创建 br0 类型为网桥
ip l a br0 type bridge
ip l s br0 up

## 创建 1对 veth pair 网卡
ip l a int0 type veth peer name br-int0

## ns1 配置信息,网卡 int0 一端插到 ns1,一端插到 br0 网桥
ip l s int0 netns ns1
ip netns exec ns1 ip l s int0 up
ip netns exec ns1 ip a a 10.1.5.10/24 dev int0
ip netns exec ns1 ip r a default via 10.1.5.1 dev int0

## veth pair 网卡另一端插到 br0 网桥
ip l s br-int0 master br0
ip l s br-int0 up

## br0 网卡配置网关地址
ip a a 10.1.5.1/24 dev br0

## 创建 vxlan 
ip link add vxlan0 type vxlan id 20 dstport 4789 remote 172.16.94.142 dev ens33 
ip addr a 1.1.1.1/24 dev vxlan0
ip link set vxlan0 up

## 添加路由
ip r a 10.1.8.0/24 via 1.1.1.2 dev vxlan0 
  • host 142 主机配置命令
# host 142
## 创建名称空间
ip netns add ns1

## 创建 br0 类型为网桥
ip l a br0 type bridge
ip l s br0 up

## 创建 1对 veth pair 网卡
ip l a int0 type veth peer name br-int0

## ns1 配置信息,网卡 int0 一端插到 ns1,一端插到 br0 网桥
ip l s int0 netns ns1
ip netns exec ns1 ip l s int0 up
ip netns exec ns1 ip a a 10.1.8.10/24 dev int0
ip netns exec ns1 ip r a default via 10.1.8.1

## veth pair 网卡另一端插到 br0 网桥
ip l s br-int0 master br0
ip l s br-int0 up

## br0 网卡是在为网关 宿主机添加路由 打通网络
ip a a 10.1.8.1/24 dev br0

## 创建 vxlan 
ip link add vxlan0 type vxlan id 20 dstport 4789 remote 172.16.94.141 dev ens33 
ip addr add 1.1.1.2/24 dev vxlan0
ip link set vxlan0 up

## 添加路由
ip r a 10.1.5.0/24 via 1.1.1.1 dev vxlan0 

c | 测试网络

# ip netns exec ns1 ping 10.1.8.10 -c 1
PING 10.1.8.10 (10.1.8.10) 56(84) bytes of data.
64 bytes from 10.1.8.10: icmp_seq=1 ttl=62 time=1.31 ms

--- 10.1.8.10 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 1.311/1.311/1.311/0.000 ms

d | IP 路由信息查看

  • 141 主机 ns1 名称空间
# ip netns exec ns1 ip a l
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
6: int0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 9e:1b:0c:49:40:99 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.5.10/24 scope global int0
       valid_lft forever preferred_lft forever
    inet6 fe80::9c1b:cff:fe49:4099/64 scope link 
       valid_lft forever preferred_lft forever

# ip netns exec ns1 ip r s
default via 10.1.5.1 dev int0 
10.1.5.0/24 dev int0 proto kernel scope link src 10.1.5.10 
  • 141 主机
# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:81:cc:3a brd ff:ff:ff:ff:ff:ff
    inet 172.16.94.141/24 brd 172.16.94.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe81:cc3a/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:b8:4d:9e:68 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 06:43:87:56:45:a8 brd ff:ff:ff:ff:ff:ff
    inet 10.1.5.1/24 scope global br0
       valid_lft forever preferred_lft forever
    inet6 fe80::dcda:30ff:fe41:c8f0/64 scope link 
       valid_lft forever preferred_lft forever
5: br-int0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br0 state UP group default qlen 1000
    link/ether 06:43:87:56:45:a8 brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet6 fe80::443:87ff:fe56:45a8/64 scope link 
       valid_lft forever preferred_lft forever
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 3e:46:68:53:c6:df brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.1/24 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::3c46:68ff:fe53:c6df/64 scope link 
       valid_lft forever preferred_lft forever

# ip -d link show
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 3e:46:68:53:c6:df brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 20 remote 172.16.94.142 dev ens33 srcport 0 0 dstport 4789 ttl auto ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

# ip r s
default via 172.16.94.2 dev ens33 proto static 
1.1.1.0/24 dev vxlan0 proto kernel scope link src 1.1.1.1 
10.1.5.0/24 dev br0 proto kernel scope link src 10.1.5.1 
10.1.8.0/24 via 1.1.1.2 dev vxlan0 
172.16.94.0/24 dev ens33 proto kernel scope link src 172.16.94.141 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown 
  • 142 主机 ns1 名称空间
# ip netns exec ns1 ip a l
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
6: int0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 5e:98:37:4c:e0:b7 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.1.8.10/24 scope global int0
       valid_lft forever preferred_lft forever
    inet6 fe80::5c98:37ff:fe4c:e0b7/64 scope link 
       valid_lft forever preferred_lft forever

# ip netns exec ns1 ip r s
default via 10.1.8.1 dev int0 
10.1.8.0/24 dev int0 proto kernel scope link src 10.1.8.10 
  • 142 主机
# ip a l
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:1a:5c:d3 brd ff:ff:ff:ff:ff:ff
    inet 172.16.94.142/24 brd 172.16.94.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe1a:5cd3/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:fe:24:42:c3 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
4: br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 66:e7:be:4a:ef:b0 brd ff:ff:ff:ff:ff:ff
    inet 10.1.8.1/24 scope global br0
       valid_lft forever preferred_lft forever
    inet6 fe80::c886:38ff:fe9b:51b4/64 scope link 
       valid_lft forever preferred_lft forever
5: br-int0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br0 state UP group default qlen 1000
    link/ether 66:e7:be:4a:ef:b0 brd ff:ff:ff:ff:ff:ff link-netns ns1
    inet6 fe80::64e7:beff:fe4a:efb0/64 scope link 
       valid_lft forever preferred_lft forever
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 82:d7:29:06:3c:32 brd ff:ff:ff:ff:ff:ff
    inet 1.1.1.2/24 scope global vxlan0
       valid_lft forever preferred_lft forever
    inet6 fe80::80d7:29ff:fe06:3c32/64 scope link 
       valid_lft forever preferred_lft forever

# ip -d link show
7: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/ether 82:d7:29:06:3c:32 brd ff:ff:ff:ff:ff:ff promiscuity 0 minmtu 68 maxmtu 65535 
    vxlan id 20 remote 172.16.94.141 dev ens33 srcport 0 0 dstport 4789 ttl auto ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 

# ip r s
default via 172.16.94.2 dev ens33 proto static 
1.1.1.0/24 dev vxlan0 proto kernel scope link src 1.1.1.2 
10.1.5.0/24 via 1.1.1.1 dev vxlan0 
10.1.8.0/24 dev br0 proto kernel scope link src 10.1.8.1 
172.16.94.0/24 dev ens33 proto kernel scope link src 172.16.94.142 
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown

e | 资源回收

## 141
# ip netns del ns1 && ip l d br0 && reboot

## 142
# ip netns del ns1 && ip l d br0 && reboot
posted @   evescn  阅读(331)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· Vue3状态管理终极指南:Pinia保姆级教程
  1. 1 毛不易
  2. 2 青丝 等什么君(邓寓君)
  3. 3 最爱 周慧敏
  4. 4 青花 (Live) 摩登兄弟刘宇宁/周传雄
  5. 5 怨苍天变了心 葱香科学家(王悠然)
  6. 6 吹梦到西洲 恋恋故人难/黄诗扶/王敬轩(妖扬)
  7. 7 姑娘别哭泣 柯柯柯啊
  8. 8 我会好好的 王心凌
  9. 9 半生雪 七叔-叶泽浩
  10. 10 用力活着 张茜
  11. 11 山茶花读不懂白玫瑰 梨笑笑
  12. 12 赴春寰 张壹ZHANG/Mukyo木西/鹿予/弦上春秋Official
  13. 13 故事终章 程响
  14. 14 沿海独白 王唯一(九姨太)
  15. 15 若把你 越南电音 云音乐AI/网易天音
  16. 16 世间美好与你环环相扣 柏松
  17. 17 愿你如愿 陆七言
  18. 18 多情种 胡杨林
  19. 19 和你一样 李宇春
  20. 20 晚风心里吹 李克勤
  21. 21 世面 黄梓溪
  22. 22 等的太久 杨大六
  23. 23 微醺状态 张一
  24. 24 醉今朝 安小茜
  25. 25 阿衣莫 阿吉太组合
  26. 26 折风渡夜 沉默书生
  27. 27 星河万里 王大毛
  28. 28 满目星辰皆是你 留小雨
  29. 29 老人与海 海鸣威/吴琼
  30. 30 海底 一支榴莲
  31. 31 只要有你 曹芙嘉
  32. 32 兰花指 阿里郎
  33. 33 口是心非 张大帅
  34. 34 爱不得忘不舍 白小白
  35. 35 惊鸿醉 指尖笑
  36. 36 如愿 葱香科学家(王悠然)
  37. 37 晚风心里吹 阿梨粤
  38. 38 惊蛰·归云 陈拾月(只有影子)/KasaYAYA
  39. 39 风飞沙 迪克牛仔
  40. 40 把孤独当做晚餐 井胧
  41. 41 星星点灯 郑智化
  42. 42 客子光阴 七叔-叶泽浩
  43. 43 走马观花 王若熙
  44. 44 沈园外 阿YueYue/戾格/小田音乐社
  45. 45 盗将行 花粥/马雨阳
  46. 46 她的眼睛会唱歌 张宇佳
  47. 47 一笑江湖 姜姜
  48. 48 虎二
  49. 49 人间烟火 程响
  50. 50 不仅仅是喜欢 萧全/孙语赛
  51. 51 你的眼神(粤语版) Ecrolyn
  52. 52 剑魂 李炜
  53. 53 虞兮叹 闻人听書_
  54. 54 时光洪流 程响
  55. 55 桃花诺 G.E.M.邓紫棋
  56. 56 行星(PLANET) 谭联耀
  57. 57 别怕我伤心 悦开心i/张家旺
  58. 58 上古山海经 小少焱
  59. 59 你的眼神 七元
  60. 60 怨苍天变了心 米雅
  61. 61 绝不会放过 王亚东
  62. 62 可笑的孤独 黄静美
  63. 63 错位时空 艾辰
  64. 64 像个孩子 仙屁孩
  65. 65 完美世界 [主题版] 水木年华
  66. 66 我们的时光 赵雷
  67. 67 万字情诗 椒椒JMJ
  68. 68 妖王 浮生
  69. 69 天地无霜 (合唱版) 杨紫/邓伦
  70. 70 塞北殇 王若熙
  71. 71 花亦山 祖娅纳惜
  72. 72 醉今朝 是可乐鸭
  73. 73 欠我个未来 艾岩
  74. 74 缘分一道桥 容云/青峰AomineDaiky
  75. 75 不知死活 子无余/严书
  76. 76 不可说 霍建华/赵丽颖
  77. 77 孤勇者 陈奕迅
  78. 78 让酒 摩登兄弟刘宇宁
  79. 79 红尘悠悠DJ沈念版 颜一彦
  80. 80 折风渡夜 (DJ名龙版) 泽国同学
  81. 81 吹灭小山河 国风堂/司南
  82. 82 等什么君 - 辞九门回忆 张大帅
  83. 83 绝世舞姬 张曦匀/戚琦
  84. 84 阿刁(无修音版|live) 张韶涵网易云资讯台
  85. 85 往事如烟 蓝波
  86. 86 清明上河图 李玉刚
  87. 87 望穿秋水 坤坤阿
  88. 88 太多 杜宣达
  89. 89 小阿七
  90. 90 霞光-《精灵世纪》片尾曲 小时姑娘
  91. 91 放开 爱乐团王超
  92. 92 醉仙美 娜美
  93. 93 虞兮叹(完整版) 黎林添娇kiki
  94. 94 单恋一枝花 夏了个天呐(朴昱美)/七夕
  95. 95 一个人挺好 (DJ版) 69/肖涵/沈子凡
  96. 96 一笑江湖 闻人听書_
  97. 97 赤伶 李玉刚
  98. 98 达拉崩吧 (Live) 周深
  99. 99 等你归来 程响
  100. 100 责无旁贷 阿悠悠
  101. 101 你是人间四月天(钢琴弹唱版) 邵帅
  102. 102 虐心 徐良/孙羽幽
  103. 103 大天蓬 (女生版) 清水er
  104. 104 赤伶 是二智呀
  105. 105 有种关系叫知己 刘大壮
  106. 106 怎随天下 王若熙
  107. 107 有人 赵钶
  108. 108 海底 三块木头
  109. 109 有何不可 许嵩
  110. 110 大天蓬 (抖音版) 璐爷
  111. 111 我吹过你吹过的晚风(翻自 ac) 辛辛
  112. 112 只爱西经 林一
  113. 113 关山酒 等什么君(邓寓君)
  114. 114 曾经的你 年少不川
  115. 115 倔强 五月天
  116. 116 Lydia F.I.R.
  117. 117 爱你 王心凌
  118. 118 杀破狼 哥哥妹妹
  119. 119 踏山河 七叔-叶泽浩
  120. 120 错过的情人 雷婷
  121. 121 你看到的我 黄勇/任书怀
  122. 122 新欢渡旧爱 黄静美
  123. 123 慕容晓晓-黄梅戏(南柯一梦 / 明洋 remix) 南柯一梦/MINGYANG
  124. 124 浮白 花粥/王胜娚
  125. 125 叹郁孤 霄磊
  126. 126 贝加尔湖畔 (Live) 李健
  127. 127 不虞 王玖
  128. 128 麻雀 李荣浩
  129. 129 一场雨落下来要用多久 鹿先森乐队
  130. 130 野狼disco 宝石Gem
  131. 131 我们不该这样的 张赫煊
  132. 132 海底 一支榴莲
  133. 133 爱情错觉 王娅
  134. 134 你一定要幸福 何洁
  135. 135 往后余生 马良
  136. 136 放你走 正点
  137. 137 只要平凡 张杰/张碧晨
  138. 138 只要平凡-小石头和孩子们 小石头和孩子们
  139. 139 红色高跟鞋 (Live) 韩雪/刘敏涛/万茜
  140. 140 明月天涯 五音Jw
  141. 141 华年 鹿先森乐队
  142. 142 分飞 徐怀钰
  143. 143 你是我撞的南墙 刘楚阳
  144. 144 同簪 小时姑娘/HITA
  145. 145 我的将军啊-唯美独特女版 熙宝(陆迦卉)
  146. 146 我的将军啊(女版戏腔) Mukyo木西
  147. 147 口是心非 南柯nanklo/乐小桃
  148. 148 DAY BY DAY (Japanese Ver.) T-ara
  149. 149 我承认我怕黑 雅楠
  150. 150 我要找到你 冯子晨
  151. 151 你的答案 子尧
  152. 152 一剪梅 费玉清
  153. 153 纸船 薛之谦/郁可唯
  154. 154 那女孩对我说 (完整版) Uu
  155. 155 我好像在哪见过你 薛之谦
  156. 156 林中鸟 葛林
  157. 157 渡我不渡她 (正式版) 苏谭谭
  158. 158 红尘来去梦一场 大壮
  159. 159 都说 龙梅子/老猫
  160. 160 산다는 건 (Cheer Up) 洪真英
  161. 161 听说 丛铭君
  162. 162 那个女孩 张泽熙
  163. 163 最近 (正式版) 王小帅
  164. 164 不谓侠 萧忆情Alex
  165. 165 芒种 音阙诗听/赵方婧
  166. 166 恋人心 魏新雨
  167. 167 Trouble Is A Friend Lenka
  168. 168 风筝误 刘珂矣
  169. 169 米津玄師-lemon(Ayasa绚沙 Remix) Ayasa
  170. 170 可不可以 张紫豪
  171. 171 告白の夜 Ayasa
  172. 172 知否知否(翻自 胡夏) 凌之轩/rainbow苒
  173. 173 琵琶行 奇然/沈谧仁
  174. 174 一曲相思 半阳
  175. 175 起风了 吴青峰
  176. 176 胡广生 任素汐
  177. 177 左手指月 古琴版 古琴唐彬/古琴白无瑕
  178. 178 清明上河图 排骨教主
  179. 179 左手指月 萨顶顶
  180. 180 刚刚好 薛之谦
  181. 181 悟空 戴荃
  182. 182 易燃易爆炸 陈粒
  183. 183 漫步人生路 邓丽君
  184. 184 不染 萨顶顶
  185. 185 不染 毛不易
  186. 186 追梦人 凤飞飞
  187. 187 笑傲江湖 刘欢/王菲
  188. 188 沙漠骆驼 展展与罗罗
  189. 189 外滩十八号 男才女貌
  190. 190 你懂得 小沈阳/沈春阳
  191. 191 铁血丹心 罗文/甄妮
  192. 192 温柔乡 陈雅森
  193. 193 似水柔情 王备
  194. 194 我只能爱你 彭青
  195. 195 年轻的战场 张杰
  196. 196 七月七日晴 许慧欣
  197. 197 心爱 金学峰
  198. 198 Something Just Like This (feat. Romy Wave) Anthony Keyrouz/Romy Wave
  199. 199 ブルーバード いきものがかり
  200. 200 舞飞扬 含笑
  201. 201 时间煮雨 郁可唯
  202. 202 英雄一怒为红颜 小壮
  203. 203 天下有情人 周华健/齐豫
  204. 204 白狐 陈瑞
  205. 205 River Flows In You Martin Ermen
  206. 206 相思 毛阿敏
  207. 207 只要有你 那英/孙楠
  208. 208 Croatian Rhapsody Maksim Mrvica
  209. 209 来生缘 刘德华
  210. 210 莫失莫忘 麦振鸿
  211. 211 往后余生 王贰浪
  212. 212 雪见—仙凡之旅 麦振鸿
  213. 213 让泪化作相思雨 南合文斗
  214. 214 追梦人 阿木
  215. 215 真英雄 张卫健
  216. 216 天使的翅膀 安琥
  217. 217 生生世世爱 吴雨霏
  218. 218 爱我就跟我走 王鹤铮
  219. 219 特别的爱给特别的你 伍思凯
  220. 220 杜婧荧/王艺翔
  221. 221 I Am You Kim Taylor
  222. 222 起风了 买辣椒也用券
  223. 223 江湖笑 周华健
  224. 224 半壶纱 刘珂矣
  225. 225 Jar Of Love 曲婉婷
  226. 226 野百合也有春天 孟庭苇
  227. 227 后来 刘若英
  228. 228 不仅仅是喜欢 萧全/孙语赛
  229. 229 Time (Official) MKJ
  230. 230 纸短情长 (完整版) 烟把儿
  231. 231 离人愁 曲肖冰
  232. 232 难念的经 周华健
  233. 233 佛系少女 冯提莫
  234. 234 红昭愿 音阙诗听
  235. 235 BINGBIAN病变 Cubi/多多Aydos
  236. 236 说散就散 袁娅维TIA RAY
  237. 237 慢慢喜欢你 莫文蔚
  238. 238 最美的期待 周笔畅
  239. 239 牵丝戏 银临/Aki阿杰
  240. 240 夜的钢琴曲 K. Williams
渡我不渡她 (正式版) - 苏谭谭
00:00 / 00:00
An audio error has occurred, player will skip forward in 2 seconds.

作词 : 孤独诗人

作曲 : 孤独诗人

我前几世种下

不断的是牵挂

小僧回头了嘛

诵经声变沙哑

这寺下再无她

菩提不渡她

几卷经书难留

这满院的冥花

你离开这个家

爱恨都无处洒

还能回头了嘛

看你微笑脸颊

怎能脱下袈裟

来还你一个家

为何渡我不渡她

这风儿还在刮

乱了谁的年华

她留起了长发

收起木鱼吧

菩提下再无她

又度过几个夏

眼睛还红嘛

她已经不在啦

晨钟在敲几下

不渡世间繁花

我也低头笑着

再不见你长发

笑问佛祖啊

渡千百万人家

为何渡我不渡她

这风儿还在刮

乱了谁的年华

她留起了长发

收起木鱼吧

菩提下再无她

又度过几个夏

眼睛还红嘛

她已经不再啦

晨钟在敲几下

不渡世间繁花

我也低头笑着

再不见你长发

笑问佛祖啊

渡千百万人家

为何渡我不渡她

点击右上角即可分享
微信分享提示