linux网桥浅析
原文链接:http://hi.baidu.com/_kouu/item/25787d38efec56637c034bd0
什么是桥接?
简单来说,桥接就是把一台机器上的若干个网络接口“连接”起来。其结果是,其中一个网口收到的报文会被复制给其他网口并发送出去。以使得网口之间的报文能够互相转发。 交换机就是这样一个设备,它有若干个网口,并且这些网口是桥接起来的。于是,与交换机相连的若干主机就能够通过交换机的报文转发而互相通信。
如下图:主机A发送的报文被送到交换机S1的eth0口,由于eth0与eth1、eth2桥接在一起,故而报文被复制到eth1和eth2,并且发送出去,然后被主机B和交换机S2接收到。而S2又会将报文转发给主机C、D。
交换机在报文转发的过程中并不会篡改报文数据,只是做原样复制。然而桥接却并不是在物理层实现的,而是在数据链路层。交换机能够理解数据链路层的报文,所以实际上桥接却又不是单纯的报文转发。 交换机会关心填写在报文的数据链路层头部中的Mac地址信息(包括源地址和目的地址),以便了解每个Mac地址所代表的主机都在什么位置(与本交换机的哪个网口相连)。在报文转发时,交换机就只需要向特定的网口转发即可,从而避免不必要的网络交互。这个就是交换机的“地址学习”。但是如果交换机遇到一个自己未学习到的地址,就不会知道这个报文应该从哪个网口转发,则只好将报文转发给所有网口(接收报文的那个网口除外)。 比如主机C向主机A发送一个报文,报文来到了交换机S1的eth2网口上。假设S1刚刚启动,还没有学习到任何地址,则它会将报文转发给eth0和eth1。同时,S1会根据报文的源Mac地址,记录下“主机C是通过eth2网口接入的”。于是当主机A向C发送报文时,S1只需要将报文转发到eth2网口即可。而当主机D向C发送报文时,假设交换机S2将报文转发到了S1的eth2网口(实际上S2也多半会因为地址学习而不这么做),则S1会直接将报文丢弃而不做转发(因为主机C就是从eth2接入的)。
然而,网络拓扑不可能是永不改变的。假设我们将主机B和主机C换个位置,当主机C发出报文时(不管发给谁),交换机S1的eth1口收到报文,于是交换机S1会更新其学习到的地址,将原来的“主机C是通过eth2网口接入的”改为“主机C是通过eth1网口接入的”。 但是如果主机C一直不发送报文呢?S1将一直认为“主机C是通过eth2网口接入的”,于是将其他主机发送给C的报文都从eth2转发出去,结果报文就发丢了。所以交换机的地址学习需要有超时策略。对于交换机S1来说,如果距离最后一次收到主机C的报文已经过去一定时间了(默认为5分钟),则S1需要忘记“主机C是通过eth2网口接入的”这件事情。这样一来,发往主机C的报文又会被转发到所有网口上去,而其中从eth1转发出去的报文将被主机C收到。
linux的桥接实现
相关模型 linux内核支持网口的桥接(目前只支持以太网接口)。但是与单纯的交换机不同,交换机只是一个二层设备,对于接收到的报文,要么转发、要么丢弃。小型的交换机里面只需要一块交换芯片即可,并不需要CPU。而运行着linux内核的机器本身就是一台主机,有可能就是网络报文的目的地。其收到的报文除了转发和丢弃,还可能被送到网络协议栈的上层(网络层),从而被自己消化。 linux内核是通过一个虚拟的网桥设备来实现桥接的。这个虚拟设备可以绑定若干个以太网接口设备,从而将它们桥接起来。如下图(摘自ULNI):
网桥设备br0绑定了eth0和eth1。对于网络协议栈的上层来说,只看得到br0,因为桥接是在数据链路层实现的,上层不需要关心桥接的细节。于是协议栈上层需要发送的报文被送到br0,网桥设备的处理代码再来判断报文该被转发到eth0或是eth1,或者两者皆是;反过来,从eth0或从eth1接收到的报文被提交给网桥的处理代码,在这里会判断报文该转发、丢弃、或提交到协议栈上层。 而有时候eth0、eth1也可能会作为报文的源地址或目的地址,直接参与报文的发送与接收(从而绕过网桥)。
相关数据结构 要使用桥接功能,我们需要在编译内核时指定相关的选项,并让内核加载桥接模块。然后通过“brctl addbr {br_name}”命令新增一个网桥设备,最后通过“brctl addif {eth_if_name}”命令绑定若干网络接口。完成这些操作后,内核中的数据结构关系如下图所示(摘自ULNI):
其中最左边的net_device是一个代表网桥的虚拟设备结构,它关联了一个net_bridge结构,这是网桥设备所特有的数据结构。 在net_bridge结构中,port_list成员下挂一个链表,链表中的每一个节点(net_bridge_port结构)关联到一个真实的网口设备的net_device。网口设备也通过其br_port指针做反向的关联(那么显然,一个网口最多只能同时被绑定到一个网桥)。 net_bridge结构中还维护了一个hash表,是用来处理地址学习的。当网桥准备转发一个报文时,以报文的目的Mac地址为key,如果可以在hash表中索引到一个net_bridge_fdb_entry结构,通过这个结构能找到一个网口设备的net_device,于是报文就应该从这个网口转发出去;否则,报文将从所有网口转发。
接收过程 在《linux网络报文接收发送浅析》一文中我们看到,网口设备接收到的报文最终通过net_receive_skb函数被网络协议栈所接收。
net_receive_skb(skb); 这个函数主要做三件事情: 1、如果有抓包程序需要skb,将skb复制给它们; 2、处理桥接; 3、将skb提交给网络层;
这里我们只关心第2步。那么,如何判断一个skb是否需要做桥接相关的处理呢?skb->dev指向了接收这个skb的设备,如果这个net_device的br_port不为空(它指向一个net_bridge_port结构),则表示这个net_device正在被桥接,并且通过net_bridge_port结构中的br指针可以找到网桥设备的net_device结构。于是调用到br_handle_frame函数,让桥接的代码来处理这个报文;
br_handle_frame(net_bridge_port, skb); 如果skb的目的Mac地址与接收该skb的网口的Mac地址相同,则结束桥接处理过程(返回到net_receive_skb函数后,这个skb会最终被提交给网络层); 否则,调用到br_handle_frame_finish函数将报文转发,然后释放skb(返回到net_receive_skb函数后,这个skb就不会往网络层提交了);
br_handle_frame_finish(skb); 首先通过br_fdb_update函数更新网桥设备的地址学习hash表中对应于skb的源Mac地址的记录(更新时间戳及其所指向的net_bridge_port结构); 如果skb的目的地址与本机的其他网口的Mac地址相同(但是与接收该skb的网口的Mac地址不同,否则在上一个函数就返回了),就调用br_pass_frame_up函数,该函数会将skb->dev替换成网桥设备的dev,然后再调用netif_receive_skb来处理这个报文。这下子netif_receive_skb函数被递归调用了,但是这一次却不会再触发网桥的相关处理函数,因为skb->dev已经被替换,skb->dev->br_port已经是空了。所以这一次netif_receive_skb函数最终会将skb提交给网络层; 否则,通过__br_fdb_get函数在网桥设备的地址学习hash表中查找skb的目的Mac地址所对应的dev,如果找到(且通过其时间戳认定该记录未过期),则调用br_forward将报文转发给这个dev;而如果找不到则调用br_flood_forward进行转发,该函数会遍历网桥设备中的port_list,找到每一个绑定的dev(除了与skb->dev相同的那个),然后调用br_forward将其转发;
br_forward(net_bridge_port, skb); 将skb->dev替换成将要进行转发的dev,然后调用br_forward_finish,而后者又会调用br_dev_queue_push_xmit。 最终,br_dev_queue_push_xmit会调用dev_queue_xmit将报文发送出去(见《linux网络报文接收发送浅析》)。注意,此时skb->dev已经被替换成进行转发的dev了,报文会从这个网口被转发出去;
发送过程 在《linux网络报文接收发送浅析》一文中我们看到,协议栈上层需要发送报文时,调用dev_queue_xmit(skb)函数。如果这个报文需要通过网桥设备来发送,则skb->dev指向一个网桥设备。网桥设备没有使用发送队列(dev->qdisc为空),所以dev_queue_xmit将直接调用dev->hard_start_xmit函数,而网桥设备的hard_start_xmit等于函数br_dev_xmit;
br_dev_xmit(skb, dev); 通过__br_fdb_get函数在网桥设备的地址学习hash表中查找skb的目的Mac地址所对应的dev,如果找到,则调用br_deliver将报文发送给这个dev;而如果找不到则调用br_flood_deliver进行发送,该函数会遍历网桥设备中的port_list,找到每一个绑定的dev,然后调用br_deliver将其发送(此处逻辑与之前的转发很像);
br_deliver(net_bridge_port, skb); 这个函数的逻辑与之前转发时调用的br_forward很像。先将skb->dev替换成将要进行转发的dev,然后调用br_forward_finish。如前面所述,br_forward_finish又会调用到br_dev_queue_push_xmit,后者最终调用dev_queue_xmit将报文发送出去。
以上过程忽略了对于广播或多播Mac地址的处理,如果Mac地址是广播或多播地址,就向所有绑定的dev转发报文就行了。
另外,关于地址学习的过期记录,专门有一个定时器周期性地调用br_fdb_cleanup函数来将它们清除。
生成树协议
对于网桥来说,报文的转发、地址学习其实都是很简单的事情。在简单的网络环境中,这就已经足够了。 而对于复杂的网络环境,往往需要对数据通路做一定的冗余,以便当网络中某个交换机出现故障、或交换机的某个网口出现故障时,整个网络还能够正常使用。 那么,我们假设在上面的网络拓扑中增加一条冗余的连接,看看会发生什么事情吧。
假设交换机S1和S2都是刚刚启动(没有学习到任何地址),此时主机C向B发送一个报文。交换机S2的eth2口收到报文,并将其转发到eth0、eth1、eth3,并且记录下“主机C由eth2接入”。交换机S1在其eth2和eth3口都会收到报文,eth2口收到的报文又会从eth3口(及其他口)转发出去、eth3口收到的报文也会从eth2口(及其他口)转发出去。于是交换机S2的eth0、eth1口又将再次收到这个报文,报文的源地址还是主机C。于是S2相继更新学习到的地址,记录下“主机C由eth0接入”,然后又更新为“主机C由eth1接入”。然后报文又继续被转发给交换机S1,S1又会转发回S2。形成一个回路,周而复始,并且每一次轮回还会导致报文被复制给其他网口,最终形成网络风暴。整个网络可能就瘫痪了。 可见,我们之前讨论的交换机是不能在这样的带有环路的拓扑中使用的。但是如果要想给网络添加一定的冗余连接,则又必定会存在环路,这该怎么办呢? IEEE规范定义了生成树协议(STP),如果网络拓扑中的交换机支持这种协议,则它们会通过BPUD报文(网桥协议数据单元)进行通信,相互协调,暂时阻塞掉某些交换机的某些网口,使得网络拓扑不存在环路,成为一个树型结构。而当网络中某些交换机出现故障,这些被暂时阻塞掉的网口又会重新启用,以保持整个网络的连通性。
由一个带有环路的图生成一棵树的算法是很简单的,但是,正所谓“不识庐山真面目,只缘身在此山中”,网络中的每一台交换机都不知道确切的网络拓扑,并且网络拓扑还可能动态地改变。要通过交换机间的信息传递(传递BPUD报文)来生成这么一棵树,那就不是一件简单的事情了。来看看生成树协议是怎么做到的吧。
确定树根 要生成一棵树,第一步是确定树根。协议规定,只有作为树根节点的交换机才能发送BPUD报文,以协调其他交换机。当一台交换机启动时,它不知道谁是树根,则他会把自己就当作树根,从它的各个网口发出BPUD报文。 BPUD报文可以说是表明发送者身份的报文,里面含有一个“root_id”,也就是发送者的ID(发送者都认为自己就是树根)。这个ID由两部份组成,优先级+Mac地址。ID越小则该交换机越重要,越应该被任命为树根。ID中的优先级是由网络管理员来指定的,当然性能越好的交换机应该被指定为越高的优先级(即越小的值)。两个交换机的ID比较,首先比较的就是优先级。而如果优先级相同,则比较其Mac地址。就好比两个人地位相当,只好按姓氏笔划排列了。而交换机的Mac地址是全世界唯一的,所以交换机ID不会相同。
一开始,各个交换机都自以为是地认为自己是树根,都发出了BPUD报文,并在其中表明了自己的身份。而各个交换机自然也会收到来自于其他交换机的BPUD报文,如果发现别人的ID更小(优先级更高),这时,交换机才意识到“天外有天、人外有人”,于是停止自己愚昧的“自称树根”的举动。并且将收到的带有更高优先级的BPUD报文转发,让其他人也知道有这么个高优先级的交换机存在。 最终,所有交换机会达成共识,知道网络中有一个ID为XXXX的家伙,他才是树根。
确定上行口 确定了树根,也就确定了网络拓扑的最顶层。而其他交换机则需要确定自己的某个网口,作为其向上(树根方向)转发报文的网口(上行口)。想一想,如果一个交换机有多个上行口,则网络拓扑必然会存在回路。所以一个交换机的上行口有且只有一个。 那么这个唯一的上行口怎么确定呢?取各个网口中,到树根的开销最小的那一个。
上面说到,树根发出的BPUD报文会被其他交换机所转发,最终每个交换机的某些网口会收到这个BPUD。BPUD中还有这么三个字段,“到树根的开销”、“交换机ID”、“网口ID”。交换机在转发BPUD时,会更新这三个字段,把“交换机ID”更新为自己的ID,把“网口ID”更新为转发该BPUD的那个网口的编号,而“到树根的开销”则被增加一定的值(根据实际的转发开销,由交换机自己决定。可能是个大概值)。树根最初发出的BPUD,“到树根的开销”为0。每转发一次,该字段就被增加相应的开销值。 假设树根发出了一个BPUD,由于转发,一个交换机的同一个网口可能会多次收到这个BPUD报文的复本。这些复本可能经过了不同的转发路径才来到这个网口,因此有着不同的“到树根的开销”、“交换机ID”、“网口ID”。这三个字段的值越小,表示按照该BPUD转发的路径,到达树根的开销越小,就认为该BPUD的优先级越高(其实后两个字段也只是启到“按姓氏笔划排列”的作用)。交换机会记录下在其每一个网口上收到的优先级最高的BPUD,并且只有当一个网口当前收到的这个BPUD比它所记录的BPUD(也就是曾经收到的优先级最高的BPUD)的优先级还高时,这个交换机才会将该BPUD报文由其他网口转发出去。最后,比较各个网口所记录的BPUD的优先级,最高者被作为交换机的上行口。
确定需要被阻塞的下行口 交换机除了其上行口之外的其他网口都是下行口。交换机的上行路径不会存在环路,因为交换机都只有唯一的上行口。 而不同交换机的多个下行口有可能是相互连通的,会形成环路。(这些下行口也不一定是直接相连,可能是由物理层的转发设备将多个交换机的多个下行口连在一起。)生成树协议的最后一道工序就是在这一组相互连通的下行口中,选择一个让其转发报文,其他网口都被阻塞。由此消除存在的环路。而那些没有与其他下行口相连的下行口则不在考虑之列,它们不会引起环路,都照常转发。 不过,既然下行口两两相连会产生回路,是不是把这些相连的下行口都阻塞就好了呢?前面提到过可能存在物理层设备将多个网口同时连在一起的情况(如集线器Hub,尽管现在已经很少用了),如图:
假设交换机S2的eth2口和交换机S3的eth1口是互相连通的两个下行口,如果武断地将这两网口都阻塞,则主机E就被断网了。所以,这两个网口还必须留下一个来提供报文转发服务。
那么对于一组相互连通的下行口,该选择谁来作为这个唯一能转发报文的网口呢? 上面说到,每个交换机在收到优先级最高的BPUD时,都会将其转发。转发的时候,“到树根的开销”、“交换机ID”、“网口ID”都会被更新。于是对于一组相互连通的下行口,从谁那里转发出来的BPUD优先级最高,就说明从它到达树根的开销最小。于是这个网口就可以继续转发报文,而其他网口都被阻塞。 从实现上来说,每个网口需记录下自己转发出去的BPUD的优先级是多少。如果其没有收到比该优先级更高的BPUD(没有与其他下行口相连,收不到BPUD;或者与其他下行口相连,但是收到的BPUD优先级较低),则网口可以转发;否则网口被阻塞。
经过交换机之间的这一系列BPUD报文交换,生成树完成。然而网络拓扑也可能因为一些人为因素(如网络调整)或非人为因素(如交换机故障)而发生改变。于是生成树协议中还定义了很多机制来检测这种改变,而后触发新一轮的BPUD报文交换,形成新的生成树。这个过程就不再赘述了。