Linux下双网卡绑定操作记录

网卡绑定mode共有七种bond0、bond1、bond2、bond3、bond4、bond5、bond6。

第一种模式：mod=0 ，即：(balance-rr) Round-robin policy（平衡抡循环策略） 特点：传输数据包顺序是依次传输（即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕），此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降。

第二种模式：mod=1，即： (active-backup) Active-backup policy（主-备份策略） 特点：只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以避免switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N。

第三种模式：mod=2，即：(balance-xor) XOR policy（平衡策略） 特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力。

第四种模式：mod=3，即：broadcast（广播策略） 特点：在每个slave接口上传输每个数据包，此模式提供了容错能力

第五种模式：mod=4，即：(802.3ad) IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad 动态链接聚合） 特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。 外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的 是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应 性。 必要条件：

  • 条件1：ethtool支持获取每个slave的速率和双工设定
  • 条件2：switch(交换机)支持IEEE 802.3ad Dynamic link aggregation
  • 条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

第六种模式：mod=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡） 特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。 该模式的必要条件：ethtool支持获取每个slave的速率

第七种模式：mod=6，即：(balance-alb) Adaptive load balancing（适配器适应性负载均衡） 特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。 来自服务器端的接收流量也会被均衡。当本机发送ARP请求时，bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时，bonding驱动把它的硬件地址提取出来，并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是：每次广播 ARP请求时都会使用bond的硬件地址，因此对端学习到这个硬件地址后，接收流量将会全部流向当前的slave。这个问题可以通过给所有的对端发送更新 （ARP应答）来解决，应答中包含他们独一无二的硬件地址，从而导致流量重新分布。当新的slave加入到bond中时，或者某个未激活的slave重新 激活时，接收流量也要重新分布。接收的负载被顺序地分布（round robin）在bond中最高速的slave上 当某个链路被重新接上，或者一个新的slave加入到bond中，接收流量在所有当前激活的slave中全部重新分配，通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值，从而保证发往对端的ARP应答 不会被switch(交换机)阻截。 必要条件：

  • 条件1：ethtool支持获取每个slave的速率；
  • 条件2：底层驱动支持设置某个设备的硬件地址，从而使得总是有个slave(curr_active_slave)使用bond的硬件地址，同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址将会被新选出来的 curr_active_slave接管

其实mod=6与mod=0的区别：mod=6，先把eth0流量占满，再占eth1，….ethX；而mod=0的话，会发现2个口的流量都很稳定，基本一样的带宽。而mod=6，会发现第一个口流量很高，第2个口只占了小部分流量

下面分别介绍mode=4和mode=6下bond绑定双网卡的操作记录（生产环境可以添加多个网卡，此例是两个网卡的操作记录）：

一、mode=4的模式，需要修改交换机的接入接口。该模式下，数据根据hash算法从两个物理网卡传数据

1.首先修改交换机上连接eth0和eth1两个端口的配置为聚合配置：

### 配置channel
configure terminal
interface port-channel 10
exit

### 进入端口模式
interface ethernet 1/1/10
no switchport
channel-group 10 mode active
exit

### 配置端口
interface ethernet 1/1/11
no switchport
channel-group 10 mode active
exit

### 保存保存配置
save
write memory

 2.如果交换机是华为交换机，可以跳过步骤一，直接执行下面的聚合配置

[Huawei]interface Eth-Trunk 2
[Huawei-Rth-Trunk2]port link-type access
[Huawei-Eth-Trunk2]port default vlan 100
[Huawei-Eth-Trunk2]mode lacp-static
[Huawei]quit
[Huawei]interface GigabitEthernet 0/0/1
[Huawei-GigabitEthernet0/0/1]eth-trunk 2
[Huawei-GigabitEthernet0/0/1]interface GigabitEthernet 0/0/2
[Huawei-GigabitEthernet0/0/2]eth-trunk 2
[Huawei]display interface Eth-Trunk

[Huawei]display Eth-Trunk 2
Eth-Trunk2's state information is:
Local:
LAG ID: 2 WorkingMode: STATIC
Preempt Delay: Disabled Hash arithmetic: According to SIP-XOR-DIP
System Priority: 32768 System ID: 4c1f-cc81-6e80
Least Active-linknumber: 1 Max Active-linknumber: 8
Operate status: down Number Of Up Port In Trunk: 0
--------------------------------------------------------------------------------
ActorPortName Status PortType PortPri PortNo PortKey PortState Weight
GigabitEthernet0/0/1 Unselect 1GE 32768 2 561 10100010 1
GigabitEthernet0/0/2 Unselect 1GE 32768 3 561 10100010 1 



Partner:
--------------------------------------------------------------------------------
ActorPortName          SysPri   SystemID        PortPri PortNo PortKey PortState
GigabitEthernet0/0/1   0        0000-0000-0000  0       0      0       10100011
GigabitEthernet0/0/2   0        0000-0000-0000  0       0      0       10100011
    
[Huawei]display interface Eth-Trunk 2
Eth-Trunk2 current state : DOWN
Line protocol current state : DOWN
Description:
Switch Port, PVID :  100, Hash arithmetic : According to SIP-XOR-DIP,Maximal BW:
 2G, Current BW: 0M, The Maximum Frame Length is 9216
IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 4c1f-cc81-6e80
Current system time: 2022-11-14 10:19:55-08:00
    Input bandwidth utilization  :    0%
    Output bandwidth utilization :    0%
-----------------------------------------------------
PortName                      Status      Weight
-----------------------------------------------------
GigabitEthernet0/0/1 UP 1
GigabitEthernet0/0/2 UP 1
-----------------------------------------------------
The Number of Ports in Trunk : 2
The Number of UP Ports in Trunk : 0






 


3.网口绑定（根据自己服务器的网口情况，配置多个口为聚合口）




通过网口绑定(bond)技术,可以很容易实现网口冗余，负载均衡，从而达到高可用高可靠的目的。
2个物理网口分别是：eth0,eth1
绑定后的虚拟口是：bond0             #访问服务器的流量分别负载到两个物理网口
服务器IP是：10.0.54.28
采用mod=4模式（常用模式）

首先查看网卡是否支持bond绑定
[root@test ~]# modinfo bonding |more
filename:       /lib/modules/2.6.32-696.16.1.el6.x86_64/kernel/drivers/net/bonding/bonding.ko
author:         Thomas Davis, tadavis@lbl.gov and many others
description:    Ethernet Channel Bonding Driver, v3.7.1
version:        3.7.1
license:        GPL
alias:          rtnl-link-bond
srcversion:     454FF5806F146AD7FB41356
depends:        
vermagic:       2.6.32-696.16.1.el6.x86_64 SMP mod_unload modversions

然后进行网卡绑定设置
[root@test ~]# cd /etc/sysconfig/network-scripts/
[root@test network-scripts]# cat ifcfg-eth0
DEVICE=eth0
HWADDR=EC:F4:BB:DC:4C:0C                 #物理网卡的真实MAC地址
TYPE=Ethernet
UUID=669f0694-9c52-4792-bd67-22c9d2c17acb             
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
MASTER=bond0                                #配置MASTER为bond0虚拟接口
SLAVE=yes

[root@test network-scripts]# cat ifcfg-eth1
DEVICE=eth1
HWADDR=EC:F4:BB:DC:4C:0D               #物理网卡的真实MAC地址
TYPE=Ethernet
UUID=1d2f30f4-b3f0-41a6-8c37-54f03115f7bd
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
MASTER=bond0 
SLAVE=yes

[root@test network-scripts]# cat ifcfg-bond0 
DEVICE=bond0
NAME='bond0'
TYPE=Ethernet
NM_CONTROLLED=no
USERCTL=no
ONBOOT=yes
BOOTPROTO=none
IPADDR=10.0.54.28
NETMASK=255.255.255.0
GATEWAY=10.0.54.1
BONDING_OPTS='mode=4 miimon=100'
IPV6INIT=no

[root@test network-scripts]# cat /etc/modprobe.d/bonding.conf       //这个文件一般需要手动创建
alias bond0 bonding
options bonding mode=4 miimon=100                                  //手动设定bond模式为4

[root@test network-scripts]# modprobe bonding           //需要执行这一步，不然即使重启网卡后，网络不通

重启网卡。需要先关闭NetworkManager服务，并设置开启关闭！
[root@test network-scripts]#/etc/init.d/NetworkManager stop
[root@test network-scripts]# /etc/init.d/network restart

查看bond网卡绑定后的模式
[root@test network-scripts]# cat /proc/net/bonding/bond0 
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation               //显示bond网卡绑定的模式
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 08:94:ef:54:b0:88
Active Aggregator Info:
    Aggregator ID: 2
    Number of ports: 2
    Actor Key: 9
    Partner Key: 1453
    Partner Mac Address: 00:23:04:ee:be:d2

Slave Interface: eth0
MII Status: up                           //查看网卡绑定后的状态 （up or down）                                
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 08:94:ef:54:b0:88
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 08:94:ef:54:b0:88
    port key: 9
    port priority: 255
    port number: 1
    port state: 61
details partner lacp pdu:
    system priority: 32667
    system mac address: 00:23:04:ee:be:d2
    oper key: 1453
    port priority: 32768
    port number: 8461
    port state: 61

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 08:94:ef:54:b0:89
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 08:94:ef:54:b0:88
    port key: 9
    port priority: 255
    port number: 2
    port state: 61
details partner lacp pdu:
    system priority: 32667
    system mac address: 00:23:04:ee:be:d2
    oper key: 1453
    port priority: 32768
    port number: 8717
    port state: 61





 二、mode=6的模式，不需要修改交换机的接口配置。该模式下，数据先占满eth0网卡的带宽，然后再使用其他的网卡。所以一般情况下会看到多个网卡做绑定，只有一个网卡带宽使用大的情况。


 


新建网卡配置文件




[root@uplooking /etc/sysconfig/network-scripts]#vim ifcfg-bond0

TYPE=Ethernet
BOOTPROTO=static
NAME=bond0
DEVICE=bond0
IPADDR="192.168.10.54"
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
ONBOOT=yes
BONDING_OPTS="miimon=100 mode=6"     ##bonding 参数直接在网卡配置文件中指派，并且开机可以自动生效， 推荐为 6 ，不会浪费资源。




 


ifcfg-eth0 配置文件




TYPE=Ethernet
BOOTPROTO=none
NAME=eth0
DEVICE=eth0
ONBOOT=yes
MASTER=bond0
SLAVE=yes




 ifcfg-eth1 配置文件




TYPE=Ethernet
BOOTPROTO=none
NAME=eth1
DEVICE=eth1
ONBOOT=yes
MASTER=bond0
SLAVE=yes




 


 


 




[root@test network-scripts]# cat /etc/modprobe.d/bonding.conf       //这个文件一般需要手动创建
alias bond0 bonding
options bonding mode=6 miimon=100                                  //手动设定bond模式为4



[root@test network-scripts]# modprobe bonding           //需要执行这一步，不然即使重启网卡后，网络不通


 




 


进行检查是否加载了 bonding 模块




  # lsmod |grep bonding




 






            

            
posted @ 
2022-11-09 16:23 
粉色纽扣 
阅读(275) 
评论(0) 
编辑 
收藏 
举报