详解系列之：LVS

LVS简介

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。 

LVS体系结构

LVS架设的服务器集群系统由三个部分组成：

最前端的负载均衡层，用Load Balancer表示。

中间的服务器群组层，用Server Array表示。

最底端的数据共享存储层，用Shared Storage表示。

在用户看来，所有的内部应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务。

LVS体系结构如图：

 

LVS的各个组成部分详细介绍：

  Load Balancer层：位于整个集群系统的最前端，有一台或者多台负载调度器（Director Server）组成，LVS模块就安装在Director Server上，而Director的主要作用类似于一个路由

器，它含有完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给Server Array层的应用服务器（Real Server）上。同时，在Director Server上还要安装对Real Server

服务的监控模块Ldirectord，此模块用于监测各个Real Server服务的健康状况。在Real Server不可用时把它从LVS路由表中剔除，恢复时重新加入。

  Server Array层：由一组实际运行应用服务的机器组成，Real Server可以是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每个Real Server

之间通过高速的LAN或分布在各地的WAN相连接。在实际的应用中，Director Server也可以同时兼任Real Server的角色。

  Shared Storage层：是为所有Real Server提供共享存储空间和内容一致性的存储区域，在物理上一般有磁盘阵列设备组成，为了提供内容的一致性，一般可以通过NFS网络文件系

统共享数据，但是NFS在繁忙的业务系统中，性能并不是很好，此时可以采用集群文件系统，例如Red hat的GFS文件系统，oracle提供的OCFS2文件系统等。

  从整个LVS结构可以看出，Director Server是整个LVS的核心，目前，用于Director Server的操作系统只能是Linux和FreeBSD，linux2.6内核不用任何设置就可以支持LVS功能，而FreeBSD作为Director Server的应用还不是很多，性能也不是很好。

对于Real Server，几乎可以是所有的系统平台，Linux、windows、Solaris、AIX、BSD系列都能很好的支持。 

LVS术语

 

LVS集群模式和算法

  负载均衡技术有很多实现方案，有基于DNS域名轮流解析的方法、有基于客户端调度访问的方法、有基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的是IP负载均衡技术。
  LVS的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后负载调度器从Real Server列表中选取一个服务节点响应用户的请求。当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术

LVS 负载均衡模式

LVS/NAT： 即（Virtual Server via Network Address Translation）
也就是网络地址翻译技术实现虚拟服务器，当用户请求到达调度器时，调度器将请求报文的目标地址（即虚拟IP地址）改写成选定的Real Server地址，同时报文的目标端口也改成选定的Real Server的相应端口，最后将报文请求发送到选定的Real Server。在服务器端得到数据后，Real Server返回数据给用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过程。
可以看出，在NAT方式下，用户请求和响应报文都必须经过Director Server地址重写，当用户请求越来越多时，调度器的处理能力将称为瓶颈。
   LVS/TUN ：即（Virtual Server via IP Tunneling） 
也就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样，只是它的报文转发方法不同，VS/TUN方式中，调度器采用IP隧道技术将用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过前端调度器，此外，对Real Server的地域位置没有要求，可以和Director Server位于同一个网段，也可以是独立的一个网络。因此，在TUN方式中，调度器将只处理用户的报文请求，集群系统的吞吐量大大提高。
   LVS/DR： 即（Virtual Server via Direct Routing） 
也就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT和VS/TUN中的一样，但它的报文转发方法又有不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。

LVS-DR模式

转发流程

将所有入站请求转发给后端realserver,后端realserver处理完直接将结果发给客户端

简单的流程图：

 

原理如下：

当用户请求到达Direct Server，此时报文的源IP为CIP、MAC为CIP-MAC，目标IP为VIP、MAC为VIP-MAC
Direct Server根据调度算法确定一台处理请求的realserver，将请求转发给对应的realserver，此时源IP和目标IP均未改变，仅修改了源MAC为DIP-MAC，目标MAC为RIP-MAC
对应的realserver处理完请求，直接将结果发给客户端，此时源IP为VIP、源MAC为VIP-MAC，目标IP为CIP、MAC为CIP-MAC

特性如下：

通过在调度器上修改数据包的目的MAC地址实现转发

Real-Server和Direct-Server必须在同一网段 

Real-Server的lo接口必须绑定VIP 

问题：

1.为什么要抑制ARP请求

由于后端Real-Server要将VIP绑定到lo网卡上,这就出现了一个问题,客户端请求到达LVS前端路由器的时候,前端路由器会发送一个{*目标地址为VIP*}的请求报文,所以需要抑制Real-Server的ARP,保证让Direct-Server收到这个报文,而不是realserver收到这个报文

一句话说明抑制Real-Server原因:保证前端路由将目标地址为VIP的报文发给Direct-Server,而不是Real-Server

2.LVS/DR如何处理请求报文的，会修改IP包内容吗？

vs/dr本身不会关心IP层以上的信息，即使是端口号也是tcp/ip协议栈去判断是否正确，所以不会修改IP包的内容，vs/dr本身主要做这么几个事：

1）接收client的请求，根据你设定的负载均衡算法选取一台realserver的ip；

2）以选取的这个ip对应的mac地址作为目标mac，然后重新将IP包封装成帧转发给这台RS；

3）在hash table中记录连接信息。

vs/dr做的事情很少，也很简单，所以它的效率很高，不比硬件负载均衡设备差多少。

数据包、数据帧的大致流向是这样的：client --> VS --> RS --> client

3.RealServer为什么要在lo接口上配置VIP？在出口网卡上配置VIP可以吗？

既然要让RS能够处理目标地址为vip的IP包，首先必须要让RS能接收到这个包。在lo上配置vip能够完成接收包并将结果返回client。

不可以将VIP设置在出口网卡上,否则会响应客户端的arp request,造成client/gateway arp table紊乱，以至于整个load balance都不能正常工作。

4.LVS/DR load balancer（director）与RS为什么要在同一网段中？

从第一个问题中大家应该明白vs/dr是如何将请求转发给RS的了吧？它是在数据链路层来实现的，所以director必须和RS在同一网段里面。

5.为什么director上eth0接口除了VIP另外还要配一个ip（即DIP）？

如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。如果没有健康检查机制的HA或者Load Balance则没有存在的实际意义。

6. LVS/DR ip_forward需要开启吗？

不需要。因为director跟realserver是同一个网段，无需开启转发。

7. director的vip的netmask一定要是255.255.255.255吗？

lvs/dr里，director的vip的netmask 没必要设置为255.255.255.255，也不需要再去route add -host $VIP dev eth0:0

优势如下：

只有请求报文经过调度器,而Real-Server响应处理后无需经过调度器,因此并发量大的时候效率很高

DR 模式要求所有真实服务器必须至少有一块网卡与 LVS 主机在同一物理网段中，且真实服务器网络设备或设备别名不作 ARP 响应 

举例详解

实例场景设备：

 

说明：这里为了方便，client是与vip同一网段的机器。如果是外部的用户访问，将client替换成gateway即可，因为IP包头是不变的，变的只是源mac地址。

① client向目标vip发出请求，Director接收。此时IP包头及数据帧头信息如下：

 

② LVS根据负载均衡算法选择一台active的realserver(假设是192.168.57.122)，将此RIP所在网卡的mac地址作为目标mac地址，发送到局域网里。此时IP包头及数据帧头信息如下：

  

③ realserver(192.168.57.122)在局域网中收到这个帧，拆开后发现目标IP(VIP)与本地匹配(lo配置的VIP)，于是处理这个报文。随后重新封装报文，发送到局域网。此时IP包头及数据帧头信息如下：

④ 如果client与VS同一网段，那么client(192.168.57.135)将收到这个回复报文。如果跨了网段，那么报文通过gateway/路由器经由Internet返回给用户。

LVS-NAT模式

转发流程

将所有入站请求转发给后端Real-Server,后端Real-Server处理完再发给Direct-Server,Direct-Server再发给客户端 

特性如下：

既有RIP也有VIP

Real-Server必须得跟Direct-Server在同一网段

Real-Server必须将网关指向Direct-Server

优势如下：

只需要一个公网IP给Direct-Server,Direct-Server始终跟外接打交道

劣势：

需要依赖Direct-Server把请求转发给Real-Server,Real-Server处理完把结果发给Direct-Server,Direct-Server再把结果转发出去,并发高的时候会成为瓶颈

LVS三种模式对比

 

LVS负载调度算法

负载调度器是根据各个服务器的负载情况，动态地选择一台Real Server响应用户请求，那么动态选择是如何实现呢，其实也就是我们这里要说的负载调度算法，根据不同的网络服务需求和服务器配置，IPVS实现了如下八种负载调度算法，这里我们详细讲述最常用的四种调度算法，剩余的四种调度算法请参考其它资料。

轮叫调度（Round Robin）rr
“轮叫”调度也叫1:1调度，调度器通过“轮叫”调度算法将外部用户请求按顺序1:1的分配到集群中的每个Real Server上，这种算法平等地对待每一台Real Server，而不管服务器上实际的负载状况和连接状态。 
加权轮叫调度（Weighted Round Robin）wrr
“加权轮叫”调度算法是根据Real Server的不同处理能力来调度访问请求。可以对每台Real Server设置不同的调度权值，对于性能相对较好的Real Server可以设置较高的权值，而对于处理能力较弱的Real Server，可以设置较低的权值，这样保证了处理能力强的服务器处理更多的访问流量。充分合理的利用了服务器资源。同时，调度器还可以自动查询Real Server的负载情况，并动态地调整其权值。 
最少链接调度（Least Connections）lc
“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载。 
加权最少链接调度（Weighted Least Connections）wlc
“加权最少链接调度”是“最少连接调度”的超集，每个服务节点可以用相应的权值表示其处理能力，而系统管理员可以动态的设置相应的权值，缺省权值为1，加权最小连接调度在分配新连接请求时尽可能使服务节点的已建立连接数和其权值成正比。
其它四种调度算法分别为：基于局部性的最少链接（Locality-Based Least Connections）、带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）、目标地址散列（Destination Hashing）和源地址散列（Source Hashing），对于这四种调度算法的含义，本文不再讲述，如果想深入了解这其余四种调度策略的话，可以登陆LVS中文站点zh.linuxvirtualserver.org，查阅更详细的信息。

LVS安装使用

安装环境

系统：redhat6.5

6.5系统自带的IPVS安装包版本是：ipvsadm-1.26-2.el6.x86_64.rpm

三台主机及IP如下：

注释：因为没有外网地址，所以用内网地址192.168.157.100作为DR模式的外网虚拟VIP地址

 

	IP地址/网卡设备	虚拟IP/网卡设备
Director server	192.168.157.6/eth0	192.168.157.100/eth0:0
Real server-1	192.168.157.8/eth0	192.168.157.100/lo:0
Real server-2	192.168.157.10/eth0	192.168.157.100/lo:0

 

IPVS安装 

Director Serve上安装IPVS

查看系统内核是否支持LVS

执行命令后，出现如下图结果，则说明系统支持LVS

[root@linux-6 mnt]# modprobe -l|grep ipvs

 

安装管理软件IPVSADM

无论采取哪种安装方式，最好先检查安装所需要的依赖包：

安装依赖包：

# 安装Delelopment tools
yum groupinstall 'Development tools' -y

# 安装libnl* popt*相关 
yum install libnl* popt* -y

# 创建一个软链接/usr/src/linux指向/usr/src/kernels/ 

ln -s /usr/src/kernels/2.6.32-431.el6.x86_64/  /usr/src/linux

yum安装的方式：

[root@linux-6 ~]# yum -y install ipvsadm*

 源码方式安装：

首先从http://www.linuxvirtualserver.org/software/ipvs.html下载系统版本对应的ipvs源码

安装步骤如下：

[root@localhost ~]#tar zxvf ipvsadm-1.26.tar.gz
[root@localhost ~]#cd ipvsadm-1.26
[root@localhost ~]#make
[root@localhost ~]#make install
注意：在make时可能会出现错误编译信息，这是由于编译程序找不到对应内核的原因，按照如下操作就可以正常编译：
[root@localhost~]#ln -s /usr/src/kernels/2.6.32-431.el6.x86_64/  /usr/src/linux

(如果没有kernels/2.6.32-431.el6.x86_64目录,需要安装包:yum install kernel-devel -y)

rpm方式安装：
下载rpm安装包，通过rpm方式进行安装：
[root@localhost ~]#rpm –ivh ipvsadm-1.26-2.el6.x86_64.rpm

注意：通过RPM方式安装最好是在RPM包所在文件执行RPM安装命令，如下图，RPM包所在文件目录是 /mnt/Packages

 

检查安装是否成功：

[root@localhost ~]# ipvsadm --help 
如果看到帮助提示，表明IPVS已经成功安装，如下图

Ipvsadm命令详解

（1）Ipvsadm常用的语法和格式如下：

ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask]

ipvsadm -D -t|u|f virtual-service-address

ipvsadm -C

ipvsadm -R

ipvsadm -S [-n]

ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]

ipvsadm -d -t|u|f service-address -r server-address

ipvsadm -L|l [options]

ipvsadm -Z [-t|u|f service-address]

ipvsadm --set tcp tcpfin udp

ipvsadm --start-daemon state [--mcast-interface interface]

ipvsadm --stop-daemon

ipvsadm -h

 #命令选项解释：有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。

-A --add-service #在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。

-E --edit-service #编辑内核虚拟服务器表中的一条虚拟服务器记录。

-D --delete-service #删除内核虚拟服务器表中的一条虚拟服务器记录。

-C --clear #清除内核虚拟服务器表中的所有记录。

-R --restore #恢复虚拟服务器规则

-S --save #保存虚拟服务器规则，输出为-R 选项可读的格式

-a --add-server #在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器

-e --edit-server #编辑一条虚拟服务器记录中的某条真实服务器记录

-d --delete-server #删除一条虚拟服务器记录中的某条真实服务器记录

-L|-l --list #显示内核虚拟服务器表

-Z --zero #虚拟服务表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp #设置连接超时值

--start-daemon #启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。

--stop-daemon #停止同步守护进程

-h --help #显示帮助信息

 #其他的选项:

-t --tcp-service service-address #说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]

-u --udp-service service-address #说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]

-f --fwmark-service fwmark #说明是经过iptables 标记过的服务类型。

-s --scheduler scheduler #使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是： wlc.

-p --persistent [timeout] #持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。

-M --netmask #子网掩码

-r --real-server server-address #真实的服务器[Real-Server:port]

-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）

-i --ipip #指定LVS 的工作模式为隧道模式

-m --masquerading #指定LVS 的工作模式为NAT 模式

-w --weight weight #真实服务器的权值

--mcast-interface interface #指定组播的同步接口

-c --connection #显示LVS 目前的连接 如：ipvsadm -L -c

--timeout #显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout

--daemon #显示同步守护进程状态

--stats #显示统计信息

--rate #显示速率信息

--sort #对虚拟服务器和真实服务器排序输出

--numeric -n #输出IP 地址和端口的数字形式

（2）举例

[root@localhost ~]# ipvsadm -A -t 192.168.60.200:80 -s rr -p 600
以上表示在内核的虚拟服务器列表中添加一条192.168.60.200的虚拟服务器记录，并且指定此虚拟服务器的服务端口为80，然后指定此虚拟服务器的调度策略为轮询调度，并且在每个real server上的持续服务时间为600秒，即10分钟。
[root@localhost ~]# ipvsadm -A -t 192.168.60.188:21 -s wlc
以上表示在内核的虚拟服务器列表中又添加了一条192.168.60.188的虚拟服务器，此虚拟服务器的服务端口为21，即FTP服务。使用的调度策略为wlc，即加权最少链接算法。
[root@localhost ~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.132:80 –g
[root@localhost ~]# ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.144:80 –g
以上两条设置表示在虚拟服务器192.168.60.200中添加两条新的Real Server记录，两个Real Server的IP分别为192.168.60.132和192.168.60.144，参数“-g”指定了虚拟服务器的工作模式为直接路由模式，即DR模式。
这样设置完毕后，当用户访问192.168.60.200的80服务时，LVS会根据设置的调度策略和路由模式将请求分配到192.168.60.132以及192.168.60.144的80端口。

LVS 部署

DR模式部署

在Director Server上做以下配置

配置VIP：

# vim /etc/sysconfig/network-scripts/ifcfg-eth0:0 内容如下（只需要下面内容即可）
DEVICE=eth0:0 
IPADDR=192.168.157.100   #VIP
NETMASK=255.255.255.255  #必须都是255
BROADCAST=192.168.157.100  #和VIP相同
ONBOOT=yes

# ifup eth0:0    #启动新网卡

# ifdown eth0:0　　

使用命令网卡临时生效：

ifconfig eth0:0 192.168.157.100 broadcast 192.168.157.100 netmask 255.255.255.255 up

#执行ipvsadm命令如下：
# route add -host 192.168.157.100 dev eth0:0

#添加到开机启动
# echo "route add -host 192.168.157.100 dev eth0:0" >> /etc/rc.local 
# echo "1" > /proc/sys/net/ipv4/ip_forward 

#添加到开机启动
# echo "echo "1" > /proc/sys/net/ipv4/ip_forward" >> /etc/rc.local

以上命令DR模式可以不执行 
# ipvsadm -A -t 192.168.157.100:80 -s rr
# ipvsadm -a -t 192.168.157.100:80 -r 192.168.157.10 -g
# ipvsadm -a -t 192.168.157.100:80 -r 192.168.157.8 -g

注：如果算法是轮询，则不需要加 -w 参数 来甚至权重

ipvsadm -L -n #查看ipvs定义的规则列表

保存ipvs规则： 

service ipvsadm save

Real Server上做以下配置：

修改配置如下：

参数是根据DR模式的原理配置，可参考前面的原理并结合参数的意义来理解

# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 

# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
#以上命令需填加到/etc/rc.local文件中让其开机自动生效

注释：

arp_ignore:定义接受到ARP请求时的相应级别，参数解释如下：

0：只要本地配置的有相应地址，就给予响应。

1：仅在请求的目标地址配置请求到达的接口上的时候，才给予响应（当别人的arp请求过来的时候，如果接收的设备上面没有这个ip，就不响应，默认是0，只要这台机器上面任何一个设备上面有这个ip，就响应arp请求，并发送MAC地址应答。）

2：只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

3：不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应

4-7：保留未使用

8：不回应所有（本地地址）的arp查询

arp_announce：定义将自己地址向外通告是的通告级别，参数解释如下：

0: 将本地任何接口上的任何地址向外通告

1：试图仅想目标网络通告与其网络匹配的地址

2：仅向与本地借口上地址匹配的网络进行通告

配置VIP：

# vim /etc/sysconfig/network-scripts/ifcfg-lo:0 内容如下 ：
DEVICE=lo:0 
IPADDR=172.16.100.100
NETMASK=255.255.255.255 
BROADCAST=172.16.100.100
ONBOOT=yes 
NAME=loopback

# ifdown lo:0
# ifup lo:0 
# route add -host 172.16.100.100 dev lo:0

#添加到开机启动
# echo "route add -host 172.16.100.100 dev lo:0" >> /etc/rc.local 

在RealServer上部署httpd服务并测试

#安装httpd服务，创建httpd测试页面，启动httpd服务
[root@linux-8 ~]# yum -y install httpd
[root@linux-8 ~]# service httpd start
[root@linux-8 ~]# echo "welcome RS-8" > /var/www/html/index.html
[root@linux-10 ~]# yum -y install httpd
[root@linux-10 ~]# service httpd start
[root@linux-10 ~]# echo "welcome RS-10" > /var/www/html/index.html

#测试httpd服务是否OK！测试LVS的负载功能是否正常

[root@linux-8 kernels]# curl http://192.168.157.8
welcome RS-8

[root@linux-10 html]# curl http://localhost
welcome RS-10