OVS架构解析
转载自:https://www.cnblogs.com/liuhongru/p/11006079.html
一:架构说明
(一)整体架构
OVS(openvswitch)是开源的虚拟交换机。也是当前市场上云环境中部署份额最大的交换机。支持 openflow协议,ovsdb协议管理。
一个OVS实例包括,ovsdb-server、ovs-vswitchd、datapath快转模块(linux内核中实现,可选的。dpdk模式是在用户态实现快转,并不需要内核态的datapath模块)。
ovsdb-server: 作用是对ovsdb操作。 ovs-vswitchd: 核心模块,作用是实现OpenFlow交换机、和controller通信、和db通信、实现用户态转发、和内核态快转路径通信。 datapath: 在内核空间实现报文快速转发。
上图从整体架构说明了ovs的工作方式。ovs包括ovsdb配置管理方式和openflow流表转发控制方式。
ovsdb配置管理方式:
管理者通过OVSDB管理协议管理OVS交换机。
OVSDB管理协议的规范文件是RFC 7047(The Open vSwitch Database Management Protocol)。
RFC7047主要包括,定义OVSDB的结构、交互协议(JSON-RPC)、DB的操作类型。 openflow流表控制方式:
controller控制器通过OpenFlow协议给OVS交换机下发流表,控制交换机的转发行为。
controller不通过OVSDB,而是直接向OVS交换机下发流表。
(二)核心组件及其关联
ovsdb-server和ovs-vswitchd之间是通过socket交互信息。 ovs-vswitchd通过netlink和内核态快转模块通信。 比如通过ovs-vsctl命令增加ovs交换机接口,ovs-vsctl会通过ovsdb-server向ovsdb更新数据,ovs-vswitchd监测到ovsdb变化时,会更新交换机配置,比如添加接口。 dpdk方式的ovs除了不使用内核模块外,架构和图中相同。
(三)内部模块及其关联关系
二:数据结构抽象关系
(一)分层抽象
ofproto class
openflow交换机实现类,用来实现一个openflow交换机。主要包括创建、构造、操作openflowflow等相关方法。
dpif class
datapath接口类,用来和datapath交互。主要包括datapath的open、run、端口操作、端口数据监听等相关方法。datapath是数据面的一种抽象。
netdev class
网络设备抽象类,用来和网络设备交互。主要包括网卡的设置、网卡结构的抽象、数据包发送接收等相关方法。
流程说明
bridge网桥通过ofproto class构造一个openflow交换机。
再通过dpif class打开(如果没有对应类型的datapath,就创建一个)对应类型的datapath通路。
使用netdev class构造一个抽象网络设备,上层抽象为端口,然后对网络设备收发包等操作。
(二)主要的数据结构关系
注:A B,表示A是一个变量而非指针,它的结构和内容是B。
流程解释如下:
1) bridge层
1.1 struct bridge对应每个ovs网桥最上层的结构。它通过成员指针变量ofproto,联系到struct ofproto交换机结构内容。
2) ofproto层
2.1 由于联系到的struct ofproto内容是struct ofproto_dpif结构的一个up成员变量。所以通过struct ofproto地址可以cast到struct ofproto_dpif结构内容,通过该内容和dpif层交互。
2.2 通过struct ofproto_dpif的成员指针变量dpif_backer,联系到struct dpif_backer结构内容。该结构是dpif操作的入口点。
3) dpif层
3.1 通过struct dpif_backer的成员指针变量dpif,联系到structdpif结构内容。
3.2 由于struct dpif结构内容是struct dpif_netdev结构的dpif成员变量,所以通过structdpif地址可以cast到struct dpif_netdev结构内容。
3.3 struct dpif_netdev结构内容中有指针成员变量dp,通过dp可以联系到struct dp_netdev结构内容。该内容是datapath的抽象结构内容。
4) datapath层
4.1 struct dp_netdev的成员指针变量ports是一个表结构,它联系着多个port端口内容。端口的结构是struct dp_netdev_port。struct dp_netdev另外一个成员指针变量netdev,联系着dp层的struct netdev结构内容,该结构内容是网卡的逻辑抽象。
4.2 struct dp_netdev_port的指针成员变量rxqs也是一个表结构,它联系着多个队列内容。队列的结构是struct dp_netdev_rxq.它的成员变量core_id表示该队列所在的core。
4.3 通过struct dp_netdev_rxq的成员指针变量rxq,联系到dp层的struct netdev_rxq结构内容。structdp_netdev_rxq的成员变量queue_id表示该队列id。
5) netdev层
5.1 由于struct netdev结构内容是struct netdev_dpdk结构的一个up成员变量。所以通过struct netdev地址可以cast到struct netdev_dpdk结构内容。
5.2 通过struct detdev_dpdk结构内容的成员指针变量netdev_class和dpdk类型网卡交互。
5.3 由于struct netdev_rxq结构内容是struct netdev_rxq_dpdk结构内容的一个up成员变量。所以通过struct netdev_rxq地址可以cast到struct netdev_rxq_dpdk结构内容。该内容是dpdk类型的netdev_rxq,它的成员变量port_id是dpdk网络设备的port。
三:OVS架构
OVS 是产品级的虚拟交换机,大量应用在生产环境中,支撑整个数据中心虚拟网络的运转。
OVS 基于 SDN 的思想,将整个核心架构分为控制面和数据面,数据面负责数据的交换工作,控制面实现交换策略,指导数据面工作。
从整体上看,OVS 可以划分为三大块,管理面、数据面和控制面。
数据面就是以用户态的 ovs-vswitchd 和内核态的 datapath 为主的转发模块,以及与之相关联的数据库模块 ovsdb-server,
控制面主要是由 ovs-ofctl 模块负责,基于 OpenFlow 协议与数据面进行交互。
管理面则是由 OVS 提供的各种工具来负责,这些工具的提供也是为了方便用户对底层各个模块的控制管理,提高用户体验。下面就对这些工具进行一个逐一的阐述。
ovs-ofctl
:
这个是控制面的模块,但本质上它也是一个管理工具,主要是基于 OpenFlow 协议对 OpenFlow 交换机进行监控和管理,通过它可以显示一个 OpenFlow 交换机的当前状态,包括功能、配置和表中的项。使用时,有很多参数,我们可以通过 ovs-ofctl --help 查看。
常用命令:
ovs-ofctl show switch-name :输出交换机信息,包括其流量表和端口信息。 ovs-ofctl dump-ports switch-name:输出交换机的端口统计信息,包括收发包、丢包、错误包等数量。 ovs-ofctl add-flow switch-name:为交换机配置流策略。
ovs-dpctl
:
用来配置交换机的内核模块 datapath,它可以创建,修改和删除 datapath,一般,单个机器上的 datapath 有 256 条(0-255)。一条 datapath 对应一个虚拟网络设备。该工具还可以统计每条 datapath 上的设备通过的流量,打印流的信息等,更过参数通过 ovs-dpctl --help 查看。
常用命令:
ovs-dpctl show :显示所有 datapath 的基本信息。 ovs-dpctl dump-dps :显示所有 datapath 的名字。 ovs-dpctl dump-flows DP :显示一条 datapath DP 上的流信息。
ovs-appctl
:
查询和控制运行中的 OVS 守护进程,包括 ovs-switchd,datapath,OpenFlow 控制器等,兼具 ovs-ofctl、ovs-dpctl 的功能,是一个非常强大的命令。ovs-vswitchd 等进程启动之后就以一个守护进程的形式运行,为了能够很好的让用户控制这些进程,就有了这个命令。详细可以 ovs-appctl --help 查看。
ovs-vsctl
:
查询和更新 ovs-vswitchd 的配置,这也是一个很强大的命令,网桥、端口、协议等相关的命令都由它来完成。此外,还负责和 ovsdb-server 相关的数据库操作。
常用命令:
ovs-vsctl show :显示主机上已有的网桥及端口信息。
ovs-vsctl add-br br0:添加网桥 br0。
ovsdb-client
:
访问 ovsdb-server 的客户端程序,通过 ovsdb-server 执行一些数据库操作。
常用命令:
ovsdb-client dump:用来查看ovsdb内容。
ovsdb-client transact :用来执行一条类 sql。
ovsdb-tool
:
和 ovsdb-client 要借助 ovsdb-server 才能进行相关数据库操作不同,ovsdb-tool 可以直接操作数据库。
四:OVS源码结构
OVS 源码结构中,主要包含以下几个主要的模块,
数据交换逻辑在 vswitchd 和 datapath 中实现,vswitchd 是最核心的模块,
OpenFlow 的相关逻辑都在 vswitchd 中实现,datapath 则不是必须的模块。
ovsdb 用于存储 vswitch 本身的配置信息,如端口、拓扑、规则等。
控制面部分采用的是 OVS 自家实现的 OVN,和其他控制器相比,OVN 对 OVS 和 OpenStack 有更好的兼容性和性能。
从图中可以看出 OVS 的分层结构,最上层 vswitchd 主要与 ovsdb 通信,做配置下发和更新等,中间层是 ofproto ,用于和 OpenFlow 控制器通信,并基于下层的 ofproto provider 提供的接口,完成具体的设备操作和流表操作等工作。
dpif 层实现对流表的操作。
netdev 层实现了对网络设备(如 Ethernet)的抽象,基于 netdev provider 接口实现多种不同平台的设备,如 Linux 内核的 system, tap, internal 等,dpdk 系的 vhost, vhost-user 等,以及隧道相关的 gre, vxlan 等。
(一)数据转发流程
通过一个例子来看看 OVS 中数据包是如何进行转发的。
1)ovs 的 datapath 接收到从 ovs 连接的某个网络端口发来的数据包,从数据包中提取源/目的 IP、源/目的 MAC、端口等信息。
2)ovs 在内核态查看流表结构(通过 hash),如果命中,则快速转发。
3)如果没有命中,内核态不知道如何处置这个数据包,所以,通过 netlink upcall 机制从内核态通知用户态,发送给 ovs-vswitchd 组件处理。
4)ovs-vswitchd 查询用户态精确流表和模糊流表,如果还不命中,在 SDN 控制器接入的情况下,经过 OpenFlow 协议,通告给控制器,由控制器处理。
5)如果模糊命中, ovs-vswitchd 会同时刷新用户态精确流表和内核态精确流表,如果精确命中,则只更新内核态流表。
6)刷新后,重新把该数据包注入给内核态 datapath 模块处理。
7)datapath 重新发起选路,查询内核流表,匹配;报文转发,结束。
五:更多详细内容看原文