LVS详解

转载：https://zhuanlan.zhihu.com/p/445202915

LVS介绍

LVS 是 Linux Virtual Server 的简写，即 Linux 虚拟服务器，是一个虚拟的服务器集群系统。此项目在 1998 年 5 月由章文嵩博士成立，是国内最早出现的自由软件项目之一，是根据 iptables 的实现来开发的，所以使用的时候会和 iptables 相类似

LVS三种模式介绍

NAT模式（网络地址映射）
IP TUN模式（IP Tunneling IP隧道）
DR模式（Direct Routing 直接路由）
不同的转发模式决定了不同的的网络结构

NAT模式

NAT 模式（即：网络地址映射）其工作原理是：客户端访问LVS时，LVS通过重写请求报文的目标地址，且根据预设的调度算法，将请求分派给后端真实服务器，真实服务器接收到请求处理后，发出响应报文也需要通过LVS返回，返回时需要修改报文的源地址，然后返回给客户，完成整个负载调度过程

DNAT：目标地址转换，改变的是目标地址
SNAT：源地址转换，改变的是源地址

NAT 模式就是使用 SNAT 和 DNAT 技术完成报的转发，NAT 方式可支持任何的操作系统，以及私有网络，并且只需一个 Internet IP 地址，非常节省成本，但是整个系统的性能受到限制。因为执行 NAT 每次需要重写数据包，有一定的延迟，另外，大部分应用有 80%的数据是从服务器流向客户机，也就是用户的请求非常短，而服务器的回应非常大，对LVS形成很大压力，容易成为瓶颈

IP TUN模式

IP TUN（IP Tunneling 即 IP隧道）当 LVS 分配请求到不同的 real server，real server 处理请求后直接回应给用户，这样 LVS 仅处理客户机与服务器的一半连接。IP TUN 技术极大地提高了 LVS 的调度处理能力，同时也极大地提高了系统能容纳的最大节点数，可以超过 100 个节点。real server 可以在任何 LAN 或 WAN 上运行，这意味着允许地理上的分布，这在灾难恢复中有重要意义。但此模式要求所有服务器必须支持 IP 隧道协议，因此只能在 linux 下使用，在 windows 无法使用

DR模式

DR（即 Direct Routing 直接路由）与 IP TUN 类似，负载均衡器仅处理一半的连接，避免了新的性能瓶颈，同样增加了系统的可伸缩性，DR 与 IP TUN 相比，没有 IP 封装的开销，但由于采用物理层（修改 MAC地址）技术，所有服务器都必须在同一个局域网

DR 和 IP TUN 的区别：

DR 与 IP TUN 相比，没有 IP 封装的开销，但由于采用数据链路层（修改 MAC地址）技术，所有服务器都必须在一个物理网段

三种模式对比

	NAT模式	IP TUN模式	DR模式
对服务器要求	任何操作系统均支持	必须支持IP隧道协议，目前只有Linux支持	支持虚拟网卡，且可以禁用ARP响应
网络要求	局域网	局域网或广域网	局域网
支持的节点数	10~20个，视Director处理能力而定	可以支持到100个节点	可以支持到100个节点
安全性	较高，可隐藏real server	较差，real server 容易暴露	较差，real server 容易暴露
IP要求	仅需要一个合法IP地址作为VIP	除VIP外，每个服务器需要拥有合法IP地址可以直接路由至客户端	除VIP外，每个服务器需要拥有合法IP地址可以直接路由至客户端
拓展性	差	很好	好
特点	地址转换	封装IP	修改MAC地址

LVS配置实践

NAT模式配置

如下图，客户端访问 Director 的VIP地址，Director 通过重写请求报文的目标地址，并根据预设的调度算法，将请求分派给后端的真实服务器 real server（RS1 和 RS2），RS的回程响应报文通过 Director 时，报文的源地址被重写，再返回给客户，完成整个负载调度过程

图中各 IP 注解

CIP 客户端的 IP
VIP 是域名解析的 IP，是集群对外的公网 IP
DIP 用来和后端真实服务器进行数据交互的 IP，请求报文转发给后端服务器从此口出去
RIP 真实服务器的 IP
环境准备

角色	IP地址	主机名	服务或工具
Director	VIP（ens37）：192.168.0.220 DIP（ens33）：192.168.176.31	stache31	ipvsadm
RS1	RIP1（ens33）：192.168.176.32	stache32	httpd
RS2	RIP2（ens33）：192.168.176.33	stache33	httpd

配置前需要给 Director 增加了一张网卡设置为桥接模式，用于模拟 Director 的 VIP，其它网卡均为 NAT 模式

#Director配置过程
[root@stache31 ~]# ifconfig -a #先通过此命令获取新增网卡名称为 ifcfg-ens37
[root@stache31 ~]# cd /etc/sysconfig/network-scripts/
[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens37 #给新增加网卡添加配置文件
[root@stache31 network-scripts]# vi ifcfg-ens37 #配置VIP地址
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens37
DEVICE=ens37
ONBOOT=yes
IPADDR=192.168.0.220
NETMASK=255.255.255.0
GATEWAY=192.168.0.1

#将原网卡的网关去除，否则两个网卡都有网关会有冲突
[root@stache31 network-scripts]# vi ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.176.31
NETMASK=255.255.255.0
#GATEWAY=192.168.176.2 #将此网关注释

#重启网络
[root@stache31 ~]# service network restart

#打开路由转发功能
[root@stache31 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@stache31 ~]# sysctl -p

#安装LVS管理工具
yum -y install ipvsadm

#使用 ipvsadm 命令设置转发规则
#-A 添加虚拟服务器
#-t 表示 TCP 的服务 VIP：PORT
#-s 指定调度算法 rr 表示 round-robin 平均轮循
#-a 表示添加 real server 的地址
#-r 指定 real server 的 IP 地址
#-m 表示 masquerade 也就是 NAT 方式的 LVS
[root@stache31 network-scripts]# ipvsadm -A -t 192.168.0.220:80 -s rr
[root@stache31 network-scripts]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.176.32 -m
[root@stache31 network-scripts]# ipvsadm -a -t 192.168.0.220:80 -r 192.168.176.33 -m

#查看设置好的规则
[root@stache31 network-scripts]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.220:80 rr
  -> 192.168.176.32:80            Masq    1      0          0         
  -> 192.168.176.33:80            Masq    1      0          0  

#显示当前的连接 -c --connection
[root@stache31 ~]# ipvsadm -L -n -c
IPVS connection entries
pro expire state       source             virtual            destination
TCP 14:59  ESTABLISHED 192.168.0.205:7624 192.168.0.220:80   192.168.176.33:80
TCP 14:59  ESTABLISHED 192.168.0.205:7623 192.168.0.220:80   192.168.176.32:80

Director 已经配置好，现在我们需要在两台 RS 服务器上搭建 httpd 服务来配合测试

#RS1配置过程
#将 RS1 网卡的网关地址修改为 Director 的 DIP 地址，也就是 192.168.176.31
[root@stache32 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.176.32
NETMASK=255.255.255.0
GATEWAY=192.168.176.31 #修改此项

[root@stache32 ~]# yum -y install httpd
[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分
[root@stache32 ~]# systemctl start httpd

# RS2 也是一样的操作
[root@stache33 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.176.33
NETMASK=255.255.255.0
GATEWAY=192.168.176.31 #修改此项

[root@stache33 ~]# yum -y install httpd
[root@stache33 ~]# echo 'stache33' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分
[root@stache33 ~]# systemctl start httpd

验证结果：我们可以通过浏览器访问 Director 的VIP地址来验证负载均衡是否生效，但是浏览器会有缓存，不能很直观的看到效果，因此我们在新开一台虚拟机 stache34 安装 elinks 字符界面浏览器来测试效果如果不想安装，则可以多刷新几次浏览器，或者使用curl 命令。

DR模式配置

DR 模式的工作原理：Director 收到请求，将请求转发给 RS，但是接下 RS 的响应消息是由 RS 直接和客户端进行通讯的，原理图如下：

DR 模式下是通过修改 MAC 地址技术实现的，我们来看 MAC 的转换过程：

客户机向 Director 的VIP地址发出请求，此时IP包头及数据帧头信息为：src ip=客户机IP、dst ip=VIP地址、src mac=客户机mac、dst mac=VIP的mac
Director 根据负载算法选择一台 RS 将此 RS 所在网卡的 mac 地址作为目标 mac 地址，发送到局域网里此时IP包头及数据帧头信息为：src ip=客户机IP、dst ip=VIP地址、src mac=VIP的mac、dst mac=RS的mac
RS 在局域网中收到IP包，拆开后发现目标IP(VIP)与本地匹配，于是处理这个报文。随后重新封装报文，发送到局域网。此时 IP 包头及数据帧头信息为：src ip=RS IP、dst ip=客户端地址、src mac=RS的mac、dst mac=客户端的mac，如果客户端与 RS 同一网段，那么客户端将收到这个回复报文，如果跨了网段那么报文通过路由器经由 Internet 返回给用户
数据的大致流向是：客户端 --> Director --> RS --> 客户端

DR 模式是基于二层的转发，所以在 LVS 的所有模式中效率是最好的：

基于 mac 的数据报文转发, 是效率最好的，但是是根据交换机的 MAC 地址表来实现的MAC 表主要告诉你，到 xxx 地方该走那个端口；如果交换不知道对方在哪儿，这个时候它就要进行广播，就问 xxx 在哪儿，如果对应的设备给了回应, 那么交换机也就更新了自己的 MAC 地址表，记录到 xxx 需要走这个端口
*二层设备不具有路由功能，那么广播也就不具有跨路由的功能，所有要实现 mac 地址广播，必须在同一物理网段
vlan 具有隔离广播的功能,，所有要能处理 mac 地址广播,，就应该在同一个 vlan 中，因此要实现 DR 模式所有的设备应该在同一个物理网段、所有的设备都应该在同一个广播域中

环境准备

角色	IP地址	主机名	服务或工具
Director	VIP：192.168.176.30 DIP：192.168.176.31	stache31	ipvsadm
RS1	RIP1：192.168.176.32	stache32	httpd
RS2	RIP2：192.168.176.33	stache33	httpd

#三台主机都是单网卡

#在 Director 上增加VIP地址
[root@stache31 ~]# cd /etc/sysconfig/network-scripts/
[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens33:1

[root@stache31 network-scripts]# vi ifcfg-ens33:1
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33:1
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33:1
ONBOOT=yes
IPADDR=192.168.176.30
NETMASK=255.255.255.0

[root@stache31 network-scripts]# vi ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.176.31
NETMASK=255.255.255.0
GATEWAY=192.168.176.2 #网关指向公网出口路由器IP

[root@stache31 network-scripts]# ifconfig #查看是否有 ens33 和 ens33:1
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.176.31  netmask 255.255.255.0  broadcast 192.168.176.255
        inet6 fe80::11fd:7c78:356f:1c7c  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:7b:4c:87  txqueuelen 1000  (Ethernet)
        RX packets 11142  bytes 13931739 (13.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2784  bytes 398366 (389.0 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.176.30  netmask 255.255.255.0  broadcast 192.168.176.255
        ether 00:0c:29:7b:4c:87  txqueuelen 1000  (Ethernet)

#安装 lvs 管理工具
[root@stache31 network-scripts]# yum -y install ipvsadm

#注意：三个 LVS 模式中，只有 NAT 模式需要开启路由转发功能，DR 和 TUN 模式不需要开启

#配置转发规则，-g 表示 DR 模式
[root@stache31 ~]# ipvsadm -At 192.168.176.30:80 -s rr
[root@stache31 ~]# ipvsadm -at 192.168.176.30:80 -r 192.168.176.32:80 -g
[root@stache31 ~]# ipvsadm -at 192.168.176.30:80 -r 192.168.176.33:80 -g

#查看配置好的转发规则
[root@stache31 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 rr
  -> 192.168.176.32:80            Route   1      0          0         
  -> 192.168.176.33:80            Route   1      0          0

#配置 RS1
[root@stache32 local]# cd /etc/sysconfig/network-scripts/

#增加一个本地回环接口，将VIP地址配置到回环接口上
[root@stache32 network-scripts]# cp ifcfg-lo ifcfg-lo:1
[root@stache32 network-scripts]# vi ifcfg-lo:1
DEVICE=lo:1
IPADDR=192.168.176.30
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback

#注意ens33网口的网关
[root@stache32 network-scripts]# vi ifcfg-ens33 
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.176.32
NETMASK=255.255.255.0
GATEWAY=192.168.176.2 #网关指向公网出口路由器IP

[root@stache32 ~]# service network restart

[root@stache32 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.176.32  netmask 255.255.255.0  broadcast 192.168.176.255
        inet6 fe80::b4e3:e40c:808a:1e5a  prefixlen 64  scopeid 0x20<link>
        inet6 fe80::481a:500b:f0a0:3b89  prefixlen 64  scopeid 0x20<link>
        inet6 fe80::11fd:7c78:356f:1c7c  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:0f:55:26  txqueuelen 1000  (Ethernet)
        RX packets 284  bytes 29340 (28.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 190  bytes 34347 (33.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo:1: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 192.168.176.30  netmask 255.255.255.255
        loop  txqueuelen 1000  (Local Loopback)

#关闭ARP转发
[root@stache32 ~]# cat >> /etc/sysctl.conf << EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
[root@stache32 ~]# sysctl -p

#安装 httpd 用于验证测试效果
[root@stache32 ~]# yum -y install httpd
[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分
[root@stache32 ~]# systemctl start httpd

#RS2 的配置和 RS1 的配置是一样的，这里就不再累述了

#测试效果，注意测试时，不要在 Director 或 RS 上测试，需要另外再开一台新虚拟机安装 elinks 测试
[root@stache34 ~]# elinks 192.168.176.30 --dump
   stache33
[root@stache34 ~]# elinks 192.168.176.30 --dump
   stache32
[root@stache34 ~]# elinks 192.168.176.30 --dump
   stache33
[root@stache34 ~]# elinks 192.168.176.30 --dump

#当然也可以用ab命令来测试
#ab命令是由 httpd-tools 包提供的
yum -y install httpd-tools

#-n 指定请求总个数，-c 每次请求的并发数
[root@stache34 ~]# ab -n 1000 -c 1000 http://192.168.176.30/index.html

#ab命令之后后，使用如下命令查看统计信息
[root@stache31 ~]# ipvsadm -L -n --stats

扩展1：为什么要在 RS 的 lo 接口上配置 VIP？在出口网卡上配置 VIP 可以吗？

1、既然要让 RS 能够处理目标地址为 VIP 的 IP 包，首先必须要让 RS 能接收到这个包，在 lo 上配置 VIP 能够完成接收包并将结果返回给客户端
2、不可以将 VIP 设置在出口网卡上，否则会响应客户端的 ARP 请求，造成路由器的 ARP table 紊乱，以至于整个集群都不能正常工作

扩展2：关闭（抑制）ARP 响应，同一个广播域配置多个相同的 VIP 是不允许的，要想实现，就必须让外面的网络，无法发现这个 VIP 的存在，因此在 Linux 里面，可以修改内核参数实现接口 IP 的广播不响应、不广播

arp_ignore：定义接收到 ARP 请求时的响应级别

0：只要本地配置的有相应地址，就给予响应
1：仅在请求的目标地址配置在到达的接口上的时候，才给予响应，DR 模型使用

arp_announce：定义将自己地址向外通告时的通告级别

0：将本地任何接口上的任何地址向外通告
1：试图仅向目标网络通告与其网络匹配的地址
2：仅向与本地接口上地址匹配的网络进行通告，DR 模型使用

IP TUN模式配置

DR 方式是通过 MAC 地址，规模是一个交换网络，而 TUN 是通过给数据包加上新的 IP 头部来实现，这个可以跨整个广域网，可以实现异地机房容灾

环境准备

角色	IP地址	主机名	服务或工具
Director	VIP：192.168.176.30 DIP：192.168.176.31	stache31	ipvsadm
RS1	RIP1：192.168.176.32	stache32	httpd
RS2	RIP2：192.168.176.33	stache33	httpd

#在 Director 上增加VIP地址
[root@stache31 ~]# cd /etc/sysconfig/network-scripts/
[root@stache31 network-scripts]# cp ifcfg-ens33 ifcfg-ens33:1

[root@stache31 network-scripts]# vi ifcfg-ens33:1
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33:1
UUID=eca393a3-ed8d-48a4-aeae-3bc116ff1990
DEVICE=ens33:1
ONBOOT=yes
IPADDR=192.168.176.30
NETMASK=255.255.255.0

[root@stache31 network-scripts]# service network restart

[root@stache31 network-scripts]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.176.31  netmask 255.255.255.0  broadcast 192.168.176.255
        inet6 fe80::11fd:7c78:356f:1c7c  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:7b:4c:87  txqueuelen 1000  (Ethernet)
        RX packets 892461  bytes 614960905 (586.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 1709510  bytes 3882536541 (3.6 GiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

ens33:1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.176.30  netmask 255.255.255.0  broadcast 192.168.176.255
        ether 00:0c:29:7b:4c:87  txqueuelen 1000  (Ethernet)

[root@stache31 network-scripts]# yum -y install ipvsadm

#配置规则
[root@stache31 ~]# ipvsadm -A -t 192.168.176.30:80 -s rr
[root@stache31 ~]# ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.32:80 -i
[root@stache31 ~]# ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.33:80 -i

[root@stache31 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 rr
  -> 192.168.176.32:80            Tunnel  1      0          0         
  -> 192.168.176.33:80            Tunnel  1      0          0 

#RS1 配置

#需要加载ipip模块，在加载了 ipip 隧道模块后就会有默认的 tunl0 隧道
#如果此处没有手动加载 ipip ，那么使用ifconfig tunl0 时，也会自动加载 ipip 隧道模块
[root@stache32 ~]# modprobe ipip
[root@stache32 ~]# lsmod | grep ipip
ipip                   13465  0 
tunnel4                13252  1 ipip
ip_tunnel              25163  1 ipip

[root@stache32 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:0f:55:26 brd ff:ff:ff:ff:ff:ff
    inet 192.168.176.32/24 brd 192.168.176.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::b4e3:e40c:808a:1e5a/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::11fd:7c78:356f:1c7c/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::481a:500b:f0a0:3b89/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
3: tunl0@NONE: <NOARP> mtu 1480 qdisc noop state DOWN group default qlen 1000
    link/ipip 0.0.0.0 brd 0.0.0.0

#将VIP地址配置到 tunl0 接口上
[root@stache32 ~]# cd /etc/sysconfig/network-scripts/
[root@stache32 network-scripts]# cp ifcfg-lo ifcfg-tunl0
[root@stache32 network-scripts]# vi ifcfg-tunl0 
DEVICE=tunl0
IPADDR=192.168.176.30
NETMASK=255.255.255.255
ONBOOT=yes
NAME=tunl0

#注意需要关闭 NetworkManager 否则重启网络会报错
[root@stache32 network-scripts]# systemctl stop NetworkManager && systemctl disable NetworkManager
[root@stache32 network-scripts]# service network restart

[root@stache32 network-scripts]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:0f:55:26 brd ff:ff:ff:ff:ff:ff
    inet 192.168.176.32/24 brd 192.168.176.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::b4e3:e40c:808a:1e5a/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::11fd:7c78:356f:1c7c/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::481a:500b:f0a0:3b89/64 scope link tentative noprefixroute dadfailed 
       valid_lft forever preferred_lft forever
3: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ipip 0.0.0.0 brd 0.0.0.0
    inet 192.168.176.30/32 brd 192.168.176.30 scope global tunl0
       valid_lft forever preferred_lft forever

[root@stache33 network-scripts]# cat >> /etc/sysctl.conf << EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.tunl0.arp_ignore = 1
net.ipv4.conf.tunl0.arp_announce = 2
net.ipv4.conf.tunl0.rp_filter = 0
EOF
[root@stache33 network-scripts]# sysctl -p

#安装 httpd 用于验证测试效果
[root@stache32 ~]# yum -y install httpd
[root@stache32 ~]# echo 'stache32' > /var/www/html/index.html #将主机名写入网址首页，方便后面测试区分
[root@stache32 ~]# systemctl start httpd

#RS2 的配置和 RS1 的配置是一样的，这里就不再累述了

#我们在开一台虚拟机 stache34 来测试效果，如下访问 VIP 已经可以将请求平均分配到两台 RS 了
[root@stache34 ~]# curl 192.168.176.30
stache33
[root@stache34 ~]# curl 192.168.176.30
stache32
[root@stache34 ~]# curl 192.168.176.30
stache33
[root@stache34 ~]# curl 192.168.176.30
stache32

#查看访问统计
[root@stache31 ~]# ipvsadm -L -n --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  192.168.176.30:80                  40      240        0    15920        0
  -> 192.168.176.32:80                  20      120        0     7960        0
  -> 192.168.176.33:80                  20      120        0     7960        0

LVS的多种调度算法

参考文档：Linux服务器集群系统(四) -- LVS集群的负载调度

[root@stache31 ~]# ipvsadm -h
--scheduler  -s scheduler  one of rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, the default scheduler is wlc.
-s rr #轮询法，平均将请求分配给 real server
-s wrr #带权重的轮询法，基于集群节点可以处理多少来分配给每个节点一个权重值
       #权重值为 2 的服务器是权重值为 1 的服务器的两倍的连接数量
       #如果服务器的权重为 0 ，则不会收到新的连接请求，但当前活动的已经建立的连接将不会丢失
-s lc #最少连接法，当新的请求到达 lvs 时，lvs 查看活动和非活动的连接数量，以确定把请求分发给哪个服务器
      #lvs将集群节点目前的活动连接数量乘以256，再加上不活动的连接数量，得到节点的开销值
      #最低开销值的节点胜出，被分发新的入站请求（如果开销一样，则第一个节点被选中）
-s wlc #带权重的最少连接法，如上 lc 算出集群节点的开销值，然后除以分配给其的权重值
       #最小值节点胜出，将入站请求分发给它
-s lblc #基于本地的最少连接法，当 real server 是缓存服务器时用得比较多
-s lblcr #带复制的基于本地的最小连接，当 real server 是缓存服务器时用得比较多
-s dh #目标散列法
-s sh #源散列法，同一个 ip 的客户端总是分发给同一个 real server
      #让客户端总是能访问到自己的会话信息，这种机制叫会话保持
      #基于 ip 地址标识客户端的缺点：很多内网用户会伪装成公网ip来访问服务器，不能人为的控制负载均衡
      #比较高级的方法是基于客户端提供我们的 session id 来实现会话保持
      #haproxy做负载时可以实现基于会话信息来判断保持会话
-s sed #最短预期延迟法 (Ci+1)/Ui , Ci 连接数 Ui 权重值，在 wlc 方法上做了轻微改进
       #这些服务使用 tcp，而且当群节点在处理每个请求时保持在活动状态
       #计算方法：每个集群节点的开销值是通过将活动的连接数加 1 计算的，然后开销值除以
       #分配给每个节点的权重，以取得 SED 值，具有最低 SED 值的集群节点胜出
-s nq #永不排队法，Never Queue 没有队列，分配请求给空闲的服务器，没有空闲的就找响应最快的
      #如果某个集群节点中没有活动的连接，不管各集群节点 SED 计算值的结果，它始终被分配新入站请求

#调度算法配置后立即生效，就像 iptables 配置规则一样

#带权重的配置例子
ipvsadm -A -t 192.168.176.30:80 -s wrr
ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.32 -g -w 10
ipvsadm -a -t 192.168.176.30:80 -r 192.168.176.32 -g -w 20

#通过命令 ipvsadm -L -n --stats 来查看入站统计情况

扩展：如何保持会话一致

如果总是保持和一个 RS 会话，这台 RS 如果故障了要确定另一个 RS 也有会话信息，所有的 RS 保持数据同步

会话同步的方法：把所有的 RS 把自己的会话信息保存到数据库当中（如memcached）

ipvsadm操作命令

ipvsadm 命令选项解释：
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录
-C --clear 清除内核虚拟服务器表中的所有记录
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为 -R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的real server服务器记录
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条real server服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程，它后面可以是 master 或 backup，用来说明 LVS Router 是 master 或是 backup，在这个功能上也可以采用 keepalived 的 VRRP 功能
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
-t --tcp-service service-address 说明虚拟服务器提供的是 tcp 的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是 udp 的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过 iptables 标记过的服务类型
-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq 默认的调度算法是：wlc
-p --persistent [timeout] 持久稳固的服务，这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理，timeout 的默认值为 300 秒
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器 [real-server:port]
-g --gatewaying 指定 LVS 的工作模式为直接路由模式（也是 LVS 默认的模式）
-i --ipip 指定 LVS 的工作模式为隧道模式
-m --masquerading 指定 LVS 的工作模式为 NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示 LVS 目前的连接，如：ipvsadm -L -c
--timeout 显示 tcp tcpfin udp 的 timeout 值，如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出 IP 地址和端口的数字形式

设置超时时间用 ipvsadm --set tcp tcpfin udp 设置，比如 ipvsadm --set 120 20 100
表示 tcp 空闲等待时间为 120 秒、客户端关闭链接等待时间为 20 秒、udp 空闲等待为 100 秒

常用命令示例

[root@stache31 ~]# ipvsadm -L -n #查看规则内容
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 rr
  -> 192.168.176.32:80            Route   1      0          0         
  -> 192.168.176.33:80            Route   1      0          0   

#清空所有记录 -C --clear 清除内核虚拟服务器表中的所有记录
#该命令与 iptables 的-F 功能类似，执行后会清除所有规则
[root@stache31 ~]# ipvsadm -C

# -D 删除一个集群
[root@stache31 ~]# ipvsadm -D -t 192.168.176.30:80

# -d 删除一个 real server
[root@stache31 ~]# ipvsadm -d -t 192.168.176.30:80 -r 192.168.176.33
[root@stache31 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 rr
  -> 192.168.176.32:80            Route   1      0          0 

[root@stache31 ~]# ipvsadm -L -n --stats #查看统计信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  -> RemoteAddress:Port
TCP  192.168.176.30:80                   8       48        0     3744        0
  -> 192.168.176.32:80                   4       24        0     1872        0
  -> 192.168.176.33:80                   4       24        0     1872        0

[root@stache31 ~]# ipvsadm -Z #-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

[root@stache31 ~]# ipvsadm -L -n --rate #查看当前访问的速率
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port                 CPS    InPPS   OutPPS    InBPS   OutBPS
  -> RemoteAddress:Port
TCP  192.168.176.30:80                   1        8        0      614        0
  -> 192.168.176.32:80                   1        4        0      307        0
  -> 192.168.176.33:80                   1        4        0      307        0

[root@stache31 ~]# ipvsadm -L -n -c #显示lvs当前的连接 -c --connection
IPVS connection entries
pro expire state       source             virtual            destination
TCP 01:11  FIN_WAIT    192.168.176.34:44184 192.168.176.30:80  192.168.176.32:80
TCP 01:11  FIN_WAIT    192.168.176.34:44180 192.168.176.30:80  192.168.176.32:80
TCP 01:10  FIN_WAIT    192.168.176.34:44166 192.168.176.30:80  192.168.176.33:80
TCP 01:10  FIN_WAIT    192.168.176.34:44168 192.168.176.30:80  192.168.176.32:80

#修改规则
#-E 编辑内核虚拟服务器表中的一条虚拟服务器记录
#如下将 rr 调度模式修改为 wrr
[root@stache31 ~]# ipvsadm -E -t 192.168.176.30:80 -s wrr
[root@stache31 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 wrr
  -> 192.168.176.32:80            Route   1      0          0         
  -> 192.168.176.33:80            Route   1      0          0

#-e 编辑 real server 记录
#如下修改 real server 的权重
[root@stache31 ~]# ipvsadm -e -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 10
[root@stache31 ~]# ipvsadm -e -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 20
[root@stache31 ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.176.30:80 wrr
  -> 192.168.176.32:80            Route   10     0          0         
  -> 192.168.176.33:80            Route   20     0          0

保存和载入规则

#保存规则
[root@stache31 ~]# ipvsadm -S > /etc/sysconfig/ipvsadm #导出规则并翻译ip地址和端口
[root@stache31 ~]# cat /etc/sysconfig/ipvsadm 
-A -t stache31:http -s rr
-a -t stache31:http -r 192.168.176.32:http -g -w 1
-a -t stache31:http -r 192.168.176.33:http -g -w 1

[root@stache31 ~]# ipvsadm -S -n > /etc/sysconfig/ipvsadm #以数字的形式导出规则，不翻译ip和端口
[root@stache31 ~]# cat /etc/sysconfig/ipvsadm 
-A -t 192.168.176.30:80 -s rr
-a -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 1
-a -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 1
   
[root@stache31 ~]# ipvsadm-save > /etc/sysconfig/ipvsadm #和 ipvsadm -S 等同
[root@stache31 ~]# cat /etc/sysconfig/ipvsadm 
-A -t stache31:http -s rr
-a -t stache31:http -r 192.168.176.32:http -g -w 1
-a -t stache31:http -r 192.168.176.33:http -g -w 1

[root@stache31 ~]# ipvsadm-save -n > /etc/sysconfig/ipvsadm #和 ipvsadm -S -n 等同
[root@stache31 ~]# cat /etc/sysconfig/ipvsadm 
-A -t 192.168.176.30:80 -s rr
-a -t 192.168.176.30:80 -r 192.168.176.32:80 -g -w 1
-a -t 192.168.176.30:80 -r 192.168.176.33:80 -g -w 1

#载入规则，以下两条命令等同
ipvsadm -R < /etc/sysconfig/ipvsadm
ipvsadm-restore < /etc/sysconfig/ipvsadm

posted @ 2023-02-09 10:41 LILEI-2 阅读(141) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· keepalived详解

· nginx 详解

· lvs模式配置

· LVS（Linux Virtual Server）简述

· LVS原理详解以及部署

阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）

公告

昵称： LILEI-2
园龄： 3年9个月
粉丝： 0
关注： 1

+加关注

2025年3月

日

一

二

三

四

五

六

LI-2

LVS详解

LVS详解

LVS介绍

LVS三种模式介绍

NAT模式

IP TUN模式

DR模式

DR 和 IP TUN 的区别：

三种模式对比

LVS配置实践

NAT模式配置

DR模式配置

IP TUN模式配置

LVS的多种调度算法

常用命令示例

保存和载入规则

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

推荐排行榜