基于 OpenvSwitch的OpenFlow实践

基于 OpenvSwitch的OpenFlow实践

Open vSwitch 概述

OpenvSwitch(简称OVS)是由NiciraNetworks主导的，运行在虚拟化平台(例如 KVM，Xen)上的虚拟交换机。在虚拟化平台上，OVS可以为动态变化的端点提供2层交换功能，很好的控制虚拟网络中的访问策略、网络隔离、流量监控等等。OVS 遵循Apache 2.0许可证, 能同时支持多种标准的管理接口和协议。OVS也提供了对OpenFlow协议的支持，用户可以使用任何支持OpenFlow协议的控制器对OVS进行远程管理控制。

概念

**Bridge: **虚拟交换机，模拟了物理交换机行为，用于虚拟机之间通信，一个主机中可以创建一个或者多个Bridge设备
**Port: **与物理交换机的端口概念类似，每个Port都隶属于一个Bridge。端口收到的数据包会经过流规则的处理，发往其他端口；也会把其他端口来的数据包发送出去，端口的主要类型有：

类型 说明
Normal 当物理网卡绑定到ovs上，ovs会生成一个普通端口与物理网卡进行数据包交互
Internal 端口类型为internal时，ovs会创建一块虚拟网卡，虚拟网卡会与端口自动绑定。当ovs创建一个新网桥时，默认会创建一个与网桥同名的Internal Port。
Patch 当机器中有多个ovs网桥时，可以使用Patch Port把两个网桥连起来。Patch Port总是成对出现，分别连接在两个网桥上，在两个网桥之间交换数据。
Tunne 隧道端口是一种虚拟端口，支持使用gre或vxlan等隧道技术与位于网络上其他位置的远程端口通讯。

**Interface: **连接到Port的网络接口设备，在通常情况下，Port和Interface 是一对一的关系, 只有在配置Port为 bond 模式后，Port和Interface是一对多的关系
**Controller: **OpenFlow控制器，OVS可以同时接受一个或者多个OpenFlow控制器的管理
**datapath: **在OVS中datapath负责执行数据交换，也就是把从接收端口收到的数据包在流表中进行匹配，并执行匹配到的动作。
**Flow table: **每个datapath都和一个flow table关联，当datapath接收到数据之后，OVS会在flow table中查找可以匹配的 flow，执行对应的操作， 例如转发数据到另外的端口。

OVS组件

OVS全局组件

OpenVSwitch是一个实现了OpenFlow的虚拟交换机，它由多个模块组成。主要有位于用户空间的ovsdb-server和ovs-vswitchd进程，和位于内核空间的OVS datapath组成。在一个SDN架构中，Controller将各种网络拓扑，网络功能转换成OVS的数据和OpenFlow规则，分别下发给ovsdb-server和ovs-vswitchd进程，OpenFlow规则可以通过ovs-ofctl dump-flows查看。

网络数据的转发，都是由位于内核空间的OVS datapath完成。用户空间和内核空间的信息是怎么同步的？对于一个网络数据流，第一个数据包到达OVS datapath，这个时候的datapath没有转发信息，并不知道怎么完成转发。接下来OVS datapath会查询位于用户空间的ovs-vswitchd进程。ovs-vswitchd进程因为有OpenFlow信息，可以根据OpenFlow规则完成match-action操作，也就是从一堆OpenFlow规则里面匹配网络数据包对应的规则，根据这些规则里的action实现转发。

这样第一个数据包就完成了转发。与此同时，ovs-vswitchd会通过netlink向OVS datapath写入一条（也有可能是多条）转发规则，这里的规则不同于OpenFlow规则，可以通过ovs-dpctl dump-flows查看。这样，同一个网络数据流的后继网络数据包到达OVS datapath时，因为已经有了转发规则，datapath就可以直接完成转发，不再需要向ovs-vswitchd查询

![image-20201023100238502](E:\documents\cnblog\基于 OpenvSwitch的OpenFlow实践.assets\image-20201023100238502.png)

  • ovsdb-sever: OVS的数据库服务器，用来存储虚拟交换机的配置信息。它与Control Cluster和ovs-vswitchd交换信息使用了OVSDB(JSON-RPC)的方式
  • ovs-vswitchd: OVS的核心部件，它和上层controller通信遵从OPENFLOW协议，它与ovsdb-server通信使用OVSDB协议，它和内核模块通过netlink通信，它支持多个独立的datapath（网桥），它通过更改flow table实现了数据流控制
  • ovs kernel module: OVS的内核模块，处理包交换和隧道，缓存flow，如果在内核的缓存中找到转发规则则转发，否则发向用户空间去处理、

OVS结构详解

有个OVS大概的了解，我们看看OVS到底由哪些模块组成，以及个模块的作用。如图：

![20140917214054825](E:\documents\cnblog\基于 OpenvSwitch的OpenFlow实践.assets\20140917214054825.png)

  • ovs-vswitchd：主要模块，实现switch的daemon，包括一个支持流交换的Linux内核模块
  • ovsdb-server：轻量级数据库服务器，所有的配置信息，流表信息被持久化在ovsdb-server中
  • ovs-brcompatd：实现网桥功能
  • ovs-dpctl： 命令行工具，用于创建、修改和删除datapath中的转发规则
  • ovs-vsctl：查看和配置ovs-vswitchd的配置信息，配置信息被存储在数据库中
  • ovs-appctl： 命令行工具，简化对ovs-vswitched管理，但功能有限，有的操作仍需用ovs-vsctl
  • ovs-ofctl：管理支持OpenFlow协议的交换机，不限于OpenvSwitch虚拟交换机
  • ovs-openflowd：一个简单的OpenFlow交换机
  • ovs-controller：一个简单的OpenFlow控制器
  • ovs-tcpundump：tcpdump的补丁，解析OpenFlow的消息

查看命令帮助使用ovs-xxx list-commands

Open vSwitch 实验环境配置

OVS可以安装在主流的Linux操作系统中，用户可以选择直接安装编译好的软件包，或者下载源码进行编译安装。可参考https://blog.csdn.net/chenhaifeng2016/article/details/78674223

安装完毕后，检查OVS的运行情况：

$ ps -ea | grep ovs
12533 ?        00:00:00 ovs_workq
12549 ?        00:00:04 ovsdb-server
12565 ?        00:00:48 ovs-vswitchd
12566 ?        00:00:00 ovs-vswitchd

查看OVS的版本信息

$ ovs-appctl -V
ovs-appctl (Open vSwitch) 2.9.2

查看OVS支持的OpenFlow协议的版本

$ ovs-ofctl --version
ovs-ofctl (Open vSwitch) 2.9.2
OpenFlow versions 0x1:0x5

基于OpenvSwitch的OpenFlow实践

　　OpenFlow是用于管理交换机流表的协议，ovs-ofctl命令通过OpenFlow协议去连接OVS，创建、修改或删除OVS中的流表项，并对OVS的运行状况进行动态监控，可以把ovs-ofctl看成一个简单的控制器，用户控制OpenFlow中的流表。

Flow 语法说明

在OpenFlow的白皮书中，Flow被定义为某个特定的网络流量。例如，一个TCP连接就是一个Flow，或者从某个IP地址发出来的数据包，都可以被认为是一个Flow。支持OpenFlow协议的交换机应该包括一个或者多个流表，流表中的条目包含：数据包头的信息、匹配成功后要执行的指令和统计信息。当数据包进入 OVS 后，会将数据包和流表中的流表项进行匹配，如果发现了匹配的流表项，则执行该流表项中的指令集。相反，如果数据包在流表中没有发现任何匹配，OVS 会通过控制通道把数据包发到 OpenFlow 控制器中。在OVS中，流表项作为ovs-ofctl的参数，采用如下的格式：字段=值。如果有多个字段，可以用逗号或者空格分开。一些常用的字段列举如下：

字段名称 说明
in_port=port 传递数据包的端口的OpenFlow端口编号
dl_vlan=vlan 数据包的VLAN Tag值，范围是0-4095，0xffff代表不包含VLAN Tag的数据包
dl_src=[MAC] dl_dst=[MAC] 匹配源或者目标的MAC地址
01:00:00:00:00:00/01:00:00:00:00:00 代表广播地址
00:00:00:00:00:00/01:00:00:00:00:00 代表单播地址
dl_type=ethertype 匹配以太网协议类型，其中： dl_type=0x0800 代表 IPv4 协议 dl_type=0x086dd 代表 IPv6 协议 dl_type=0x0806 代表 ARP 协议
完整的的类型列表可以参见以太网协议类型列表
nw_src=ip[/netmask] nw_dst=ip[/netmask] 当dl_typ=0x0800 时，匹配源或者目标的 IPv4 地址，可以使用IP地址或者域名
nw_proto=proto 和dl_type 字段协同使用
当dl_type=0x0800时，匹配IP协议编号
当dl_type=0x086dd代表IPv6协议编号
table=number 指定要使用的流表的编号，范围是0-254。在不指定的情况下，默认值为0。
通过使用流表编号，可以创建或者修改多个Table中的Flow
reg[idx]=value[/mask] 交换机中的寄存器的值。当一个数据包进入交换机时，所有的寄存器都被清零，用户可以通过 Action 的指令修改寄存器中的值

对于add-flow、add-flows、mod-flows这三个命令，还需要指定要执行的动作：actions=[target][,target...]

一个流规则中可能有多个动作，按照指定的先后顺序执行。

常见的操作有：
output:port: 输出数据包到指定的端口，port是指端口的OpenFlow端口编号
mod_vlan_vid: 修改数据包中的VLAN tag
**strip_vlan: **移除数据包中的VLAN tag
**mod_dl_src/mod_dl_dest: **修改源或者目标的MAC地址信息
**mod_nw_src/mod_nw_dst: **修改源或者目标的IPv4地址信息
**resubmit:port: **替换流表的in_port 字段，并重新进行匹配
**load:value->dst[start..end]: **写数据到指定的字段

实践操作OpenFlow命令

在本例中, 我们会创建一个不连接到任何控制器的OVS交换机，并演示如何使用ovs-ofctl命令操作OpenFlow流表

创建一个新的网桥br0

ovs-vsctl add-br ovs-switch

列出所有网桥

ovs-vsctl list-br

判断网桥是否存在

ovs-vsctl br-exists br0

创建一个虚拟网卡p0，并将其添加到网桥br0中，设置OpenFlow中对应的编号为100，并将其设置为internal类型。如果在创建端口的时候没有指定OpenFlow端口编号，OVS 会自动生成一个。

# 命令会报错，不用理会
tunctl -t p0 -u root
ovs-vsctl add-port br0 p0 -- set Interface p0 ofport_request=100 type=internal
# 查看是否创建成功
ovs-vsctl list-ports br0

查看端口p0信息

ethtool -i p0
输出结果
driver: openvswitch
version:
firmware-version:
expansion-rom-version:
bus-info: 
supports-statistics: no
supports-test: no
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: no

为了避免网络接口上的地址和本机已有网络地址冲突，我们可以创建一个虚拟网络空间ns0，把p0接口移入网络空间 ns0，并配置IP地址为 192.168.1.100

ip netns add ns0
ip link set p0 netns ns0
ip netns exec ns0 ip addr add 192.168.1.100/24 dev p0
ip netns exec ns0 ifconfig p0 promisc up               # 设置网口为混杂模式

使用同样的方法创建端口 p1、p2，创建的端口信息如下表所示(ip netns exec ns0 ifconfig查看)。

端口 说明
p0 地址: 192.168.1.100/24
网络名称空间: ns0
网络接口 MAC 地址: c6:79:2c:ed:b9:ae
OpenFlow Port Number: 100
p1 地址: 192.168.1.101/24
网络名称空间: ns1
网络接口 MAC 地址: 62:fd:8e:74:84:c7
OpenFlow Port Number: 101
p2 地址: 192.168.1.102/24,
网络名称空间: ns2
网络接口 MAC 地址: 5e:e6:08:6a:34:87
OpenFlow Port Number: 102
创建所有的端口之后， 查看 OVS 交换机的信息

创建所有的端口之后， 查看 OVS 交换机的信息

ovs-vsctl show

输出结果
f603c968-de28-4e16-8ce5-3ddc4df61544
  Bridge "br0"
     Port "p0"
          Interface "p0"
                type: internal
      Port "p1"
            Interface "p1"
                type: internal
       Port "p2"
            Interface "p2"
                type: internal
       Port "br0"
            Interface "br0"
                type: internal
   ovs_version: "2.9.2

使用ovs-ofctl创建并测试OpenFlow命令

查看OpenvSwitch中的端口信息。

从输出结果中，可以获得交换机对应的datapath ID(dpid)，以及每个端口的 OpenFlow端口编号，端口名称，当前状态等等。

ovs-ofctl show br0

#输出结果
OFPT_FEATURES_REPLY (xid=0x2): dpid:0000d28c3022414d
n_tables:254, n_buffers:0
capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP
actions: output enqueue set_vlan_vid set_vlan_pcp strip_vlan mod_dl_src mod_dl_dst mod_nw_src mod_nw_dst mod_nw_tos mod_tp_src mod_tp_dst
 100(p0): addr:00:00:00:00:00:00
     config:     PORT_DOWN
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 101(p1): addr:00:00:00:00:00:00
     config:     PORT_DOWN
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 102(p2): addr:00:00:00:00:00:00
     config:     PORT_DOWN
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
 LOCAL(br0): addr:d2:8c:30:22:41:4d
     config:     PORT_DOWN
     state:      LINK_DOWN
     speed: 0 Mbps now, 0 Mbps max
OFPT_GET_CONFIG_REPLY (xid=0x4): frags=normal miss_send_len=0

如果想获得网络接口的OpenFlow编号，也可以在OVS的数据库中查询

ovs-vsctl get Interface p0 ofport

查看datapath的信息

ovs-dpctl show

# 输出结果
system@ovs-system:
	lookups: hit:2021 missed:104 lost:0
	flows: 0
	masks: hit:2942 total:0 hit/pkt:1.38
	port 0: ovs-system (internal)
	port 1: br0 (internal)
	port 2: p0 (internal)
	port 3: p1 (internal)
	port 4: p2 (internal)

屏蔽数据包

屏蔽所有进入 OVS 的以太网广播数据包

ovs-ofctl add-flow br0 "table=0, dl_src=01:00:00:00:00:00/01:00:00:00:00:00, actions=drop"

屏蔽 STP 协议的广播数据包

ovs-ofctl add-flow br0 "table=0, dl_dst=01:80:c2:00:00:00/ff:ff:ff:ff:ff:f0, actions=drop"

修改数据包

添加新的OpenFlow条目，修改从端口p0收到的数据包的源地址为 9.181.137.1

ovs-ofctl add-flow br0 "priority=1 idle_timeout=0, in_port=100, actions=mod_nw_src:9.181.137.1, normal"

从端口p0（192.168.1.100）ping端口p1（192.168.1.101）

ip netns exec ns0 ping 192.168.1.101

在接收端口 p1 监控数据，发现接收到的数据包的来源已经被修改为 9.181.137.1

ip netns exec ns1 tcpdump -i p1 icmp

输出结果,只有发送没有回包
listening on p1, link-type EN10MB (Ethernet), capture size 262144 bytes
11:26:04.845816 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 6, length 64
11:26:05.847021 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 7, length 64
11:26:06.848090 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 8, length 64
11:26:07.849111 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 9, length 64

重定向数据包

添加新的OpenFlow条目，重定向所有的ICMP数据包到端口p2

ovs-ofctl add-flow br0 idle_timeout=0,dl_type=0x0800,nw_proto=1,actions=output:102

从端口 p0 （192.168.1.100）发送ping数据到端口 p1（192.168.1.101）

ip netns exec ns0 ping 192.168.1.101

在端口 p2 上监控数据，发现数据包已被转发到端口 p2

ip netns exec ns2 tcpdump -i p2 icmp

输出结果
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on p2, link-type EN10MB (Ethernet), capture size 262144 bytes
11:33:06.739 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 9,length 64
11:33:07.752 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 10,length 64
11:33:08.767 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 11,length 64
11:33:09.782 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 12,length 64

修改数据包的 VLAN Tag

除了使用"ping"、"tcpdump"和"iperf" 等 Linux 命令以外，我们也可以使用 OVS提供的ovs-appctl ofproto/trace 工具来测试OVS对数据包的转发状况。ovs-appctl ofproto/trace可以用来生成测试用的模拟数据包，并一步步的展示OVS 对数据包的流处理过程。在以下的例子中，我们演示一下如何使用这个命令：

修改端口p1的VLAN tag为101，使端口p1成为一个隶属于VLAN 101的端口

ovs-vsctl set port p1 tag=101
# 使用ovs-vsctl show可以看到设置的TAG

现在由于端口p0和p1属于不同的VLAN（如果没有给端口设置VLAN Tag，那么该端口默认属于VLAN 0），它们之间无法进行数据交换。我们使用ovs-appctl ofproto/trace生成一个从端口p0发送到端口p1的数据包，这个数据包不包含任何 VLAN tag，并观察 OVS 的处理过程

ovs-appctl ofproto/trace br0 in_port=100,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7 -generate

#输出结果
Flow: in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000

bridge("br0")
-------------
 0. in_port=100, priority 1
    mod_nw_src:9.181.137.1
    NORMAL
     -> learned that 66:4e:cc:ae:4d:20 is on port p0 in VLAN 0
     -> no learned MAC for destination, flooding

Final flow: unchanged
Megaflow:recirc_id=0,eth,in_port=100,vlan_tci=0x0000/0x1fff,dl_src=66:4e:cc:ae:4d:20,dl_dst=46:54:8a:95:dd:f8,dl_type=0x0000
Datapath actions: 1,4

在输出结果中：
对于桥br0学习到p0的MAC是c6:79:2c:ed:b9:ae，并且属于VLAN0，但由于数据是去往VLAN101的，由于目前的配置不支持跨VLAN通信的功能，即使进行flooding了OVS也无法感知数据从那个port出。

创建一条新的Flow：对于于从端口p0进入交换机的数据包，如果它不包含任何VLAN tag，则自动为它添加VLAN tag 101。

ovs-ofctl add-flow br0 priority=3,in_port=100,dl_vlan=0xffff,actions=mod_vlan_vid:101,normal

再次尝试从端口p0发送一个不包含任何VLAN tag的数据包，发现数据包进入端口p0之后, 会被加上VLAN tag101, 同时自动转发到端口p1上。

# 先让br0(port101端口)学习一下P1的MAC
ovs-appctl ofproto/trace br0 in_port=101,dl_src=62:fd:8e:74:84:c7,dl_dst=c6:79:2c:ed:b9:ae -generate
# 发送数据
ovs-appctl ofproto/trace br0 in_port=100,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7 -generate

# 输出结果
Flow: in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000

bridge("br0")
-------------
 0. in_port=100,vlan_tci=0x0000, priority 3
    mod_vlan_vid:101
    NORMAL
     -> forwarding to learned port

Final flow: in_port=100,dl_vlan=101,dl_vlan_pcp=0,vlan_tci1=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
Megaflow: recirc_id=0,eth,in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
Datapath actions: 3

从输出结果上看交换机br0终于进行了数据转发。

其他OpenFlow常用操作

查看交换机中的所有Table
ovs-ofctl dump-tables ovs-switch

查看交换机中的所有流表项
ovs-ofctl dump-flows ovs-switch

删除编号为100的端口上的所有流表项
ovs-ofctl del-flows ovs-switch "in_port=100"

查看交换机上的端口信息
ovs-ofctl show ovs-switch

通过 Floodlight管理OVS

OpenFlow控制器可以通过OpenFlow协议连接到任何支持OpenFlow的交换机，控制器通过和交换机交换流表规则来控制数据流向。另一方面，OpenFlow控制器向用户提供的界面或者接口，用户可以通过界面对网络架构进行动态的修改，修改交换机的流表规则等等。Floodlight是一个基于Apache协议，使用Java开发的企业级OpenFlow控制器。我们在下面的例子中演示如何安装Floodlight，并连接管理OVS的过程。

git clone git://github.com/floodlight/floodlight.git
cd floodlight/
ant
java -jar target/floodlight.jar

为OVS配置控制器floodlight

ovs-vsctl set-controller ovs-switch tcp:IP地址:6633

参考

https://www.sdnlab.com/sdn-guide/14747.html
https://blog.csdn.net/x_i_y_u_e/article/details/56011074
https://blog.csdn.net/tantexian/article/details/46707175
ovs常用命令
https://www.ibm.com/developerworks/cn/cloud/library/1401_zhaoyi_openswitch/
OVS+KVM实践
网络虚拟化入门
CentOS7安装KVM
vxlan实验
vxlan实验ping不同问题

posted @ 2018-09-05 23:27  被罚站的树  阅读(2531)  评论(0)  编辑  收藏  举报