LVS负载均衡
1. lvs简介
LVS，即Linux Virtural Server，是一个由章文嵩博士发起的一个开源项目，它的官方网站是 http://www.linuxvirtualserver.org。 现在 LVS 已经是 Linux 内核标准的一部分。使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。
Lvs、Nginx、HAProxy均可以实现负载均衡，各有其突出的优点：
1> Lvs
1) 抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低
2) 工作在网络4层，通过vrrp协议(虚拟设备冗余协议)转发（仅作分发之用），具体的流量由linux内核处理，因此没有流量的产生。
3) 稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived，完美组合）
4) 应用范围比较广，可以对所有应用做负载均衡；
5) 不支持正则处理，不能做动静分离。
6) 支持负载均衡算法：rr（轮循）、wrr（带权轮循）、lc（最小连接）、wlc（权重最小连接）
7) 配置 复杂，对网络依赖比较大，稳定性很高。
8）跨平台：windows，linux
2> Ngnix：
c写的异步IO（协程操作）操作，占用资源少，
1) 工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构；
2) Nginx对网络的依赖比较小，理论上能ping通就能进行负载功能；
3) Nginx安装和配置比较简单，测试起来比较方便；
4) 也可以承担高的负载压力且稳定，一般能支撑超过1万次的并发；
5) 对后端服务器的健康检查，只支持通过端口来检测，不支持通过url来检测。
6) Nginx对请求的异步处理可以帮助节点服务器减轻负载；
7) Nginx仅能支持http、https和Email协议，这样就在适用范围较小。
8) 不支持Session的直接保持，但能通过ip_hash来解决。对Big request header的支持不是很好，
9) 支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、Ip-hash（Ip哈希）
10) Nginx还能做Web服务器即Cache功能。
3> HAProxy的特点是：
1) 支持两种代理模式：TCP（四层）和HTTP（七层），支持虚拟主机；
2) 能够补充Nginx的一些缺点比如Session的保持，Cookie的引导等工作
3) 支持url检测后端的服务器出问题的检测会有很好的帮助。
4) 更多的负载均衡策略比如：动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和加权参数哈希(Weighted
Parameter Hash)已经实现
5) 单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度。
6) HAProxy可以对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡。
7) 支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、source（原地址保持）、RI（请求URL）、rdp-cookie（根据cookie）
8) 不能做Web服务器即Cache功能。
2. Lvs组成
防火墙最先拥有负载均衡的功能，因lvs发展而取消了，LVS 由2部分程序组成，ipvs 和 ipvsadm。
1> ipvs(ip virtual server)：inux的内核功能模块，工作在内核，依赖该内核模块实现负载均衡功能，是真正生效实现调度的代码。
2> ipvsadm：另应用层程序，该程序可以和内核中的ip_vs模块通信，实现对负载均衡的管理和控制，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)
3. Lvs的工作模式
3.1 VS/DR模式(路由模式)
详解链接
① 客户端将请求发往前端的负载均衡器（调度器），请求报文源地址是CIP，目标地址为VIP。
② 负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将目标MAC改为了RIP的MAC地址，并将此包发送给RS。
③ RS发现请求报文中的目的MAC是自己，就会将次报文接收下来，处理完请求报文后，将响应报文通过lo接口送给eth0网卡直接发送给客户端。loopback接口上配置有vip，
注意：
需要设置lo接口的VIP不能响应本地网络内的arp请求。
优点：
和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。
DR模式的效率很高，性能最好，但是配置稍微复杂一点，因此对于访问量不是特别大的公司可以用haproxy/nginx取代。日1000-2000W PV或者并发请求1万一下都可以考虑用haproxy/nginx。
缺点：
所有 RS 节点和调度器 LB 只能在一个局域网里面（同网段）。
2.2 VS/TUN模式(隧道模式)
①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。
②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。
③.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡直接发送给客户端。
注意：
需要设置lo接口的VIP不能在公网上出现。
优点：
负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
缺点：
隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。
2.3 VS/NAT模式
①.客户端将请求发往前端的负载均衡器（调度器），请求报文源地址是CIP(客户端IP),后面统称为CIP)，目标地址为VIP(负载均衡器前端地址，后面统称为VIP)。
②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的目标地址改为了后端服务器的RIP地址并将报文根据算法发送出去。
③.报文送到Real Server后，由于报文的目标地址是自己，所以会响应该请求，并将响应报文返还给LVS。
④.然后lvs将此报文的源地址修改为本机并发送给客户端。
注意：
在NAT模式中，Real Server的网关必须指向LVS，否则报文无法送达客户端
优点：
集群中的物理服务器可以使用任何支持TCP/IP操作系统，只有负载均衡器需要一个合法的IP地址。
缺点：
扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，大量的数据包都交汇在负载均衡器那，速度就会变慢！
nat模式中，DR、RS均有vip。RS的vip设置在loopback端口上（回环地址），经过修改内核参数arp-announce和arp-ignore和调度器（RS）进行区分，确保客户端访问时访问的是调度器，调度器将报文转发给RS后RS直接给客户端回应。
4. 相关术语
|
名称 |
解释 |
|
DS |
Director Server，指的是前端负载均衡器节点 |
|
RS |
Real Server，后端真实的工作服务器 |
|
VIP |
Vitural Server，向外部直接面向用户请求，作为用户请求的目标的IP地址 |
|
DIP |
Director Server IP，主要用于和内部主机通讯的IP地址 |
|
RIP |
Real Server IP，后端服务器的IP地址 |
|
CIP |
Client IP，访问客户端的IP地址 |
5. Lvs调度算法
算法：DR按照什么规则来从多个RS中筛选出来一个给用户提供服务
动态算法：DR会实时的检测后端的RS的负载情况，将新用户的请求调度到一个负载较少的RS之上
静态算法：静态算法：无论后端的RS当前的服务器负载情况怎么样，都安装固定的方式来给RS分配用户请求
5.1 静态算法
rr：Round Bobin，轮询，将客户端的请求交替分配给RS
wrr：Weighted Round Bobin，加权轮询，根据RS的性能不同，让他们来承担不同比例的用户请求
dh：Destination Hashing，目标地址哈希调度，基于用户所请求的地址做哈希表
作用：实现将对于相同的地址(rs)的请求调度到同一个RS之上
使用场景：适应于前端是一个DR，后端是多个cache的时候
sh：Source Hashing，源地址的哈希调度，基于用户的ip地址做哈希表
作用：实现将同一个客户端调度到相同的RS之上
5.2 动态算法
lc：Least Connection，最小连接数调度，本质是调度到当前负载最低的主机上
overhead=active*256+inactive
wlc：Weighted Least Connection，加权最小连接数调度，本质是调度到当前负载最低的主机上
overhead=(active*256+inactive)/weight
SED：是wlc补充，为了降低overhead出现重复的情况
overhead=((active+1)*256+inactive))/weight
NQ：Never queue，算法基本和sed相同，为了避免性能差的RS长时间处于空闲状态
lblc：基于目标地址的最小连接数调度，这种算法那是lc和dh的组合，适应于cache场景
lblcr：带有复制功能的lblc
6. ipvsadm的使用格式
ipvsadm -A|E -t|u|f service-address:port [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] <<添加一个lvs服务器
ipvsadm -D -t|u|f service-address <<删除一个lvs服务器
ipvsadm -C <<清空规则表
ipvsadm -R <<从标准输入恢复规则表
ipvsadm -S [-n] <<使用service ipvsadm save即可
ipvsadm -a|e -t|u|f service-address -r server-address [options] <<添加一个后端web服务
ipvsadm -d -t|u|f service-address -r server-address <<删除一个后端web服务
ipvsadm -L|l [options] << 显示lvs中的规则表
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
ipvsadm --stop-daemon state
ipvsadm -h
7. ipvsad的选项参数
-A：添加一个虚拟服务（添加vip）[相当于负载均衡哪个服务器]
-E：编辑修改一个虚拟服务
-D：删除虚拟服务
-C：清空规则表
-R：从标准输入恢复规则表
--save|-S：将当前内存中的规则保存到标准输出
-a：指定在虚拟服务中添加RS节点 [添加后端的web服务器]
-e：指定在虚拟服务中编辑修改RS节点
-d：指定在虚拟服务中删除RS节点
-L|-l：显示lvs中的规则表 << ipvsadm -L -n --stats
-Z：将计数器清零
-t service-address[:port]：该规则是对tcp协议的请求做调度
-u service-address[:port]：该规则是对udp协议的请求做调度
-f：表示这个请求是经过iptables所标记过的服务类型
-r: 指定真实服务器的地址(remote)
-s scheduler：指定该规则要用的调度算法（rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）
-p [time]：指定在多次时间以内，将相同的客户端调度到相同的后端节点之上，默认时间300s
-w：设置RS节点的权重
-g：指定用DR模式（默认）
-i：指定用tunnel模式
-m：指定用nat模式
8. ipvsadm主要配置文件
lvs主要文件说明
/etc/rc.d/init.d/ipvsadm：sysV风格服务管理脚本
/etc/sysconfig/ipvsadm-config：配置文件
/sbin/ipvsadm：用于配置lvs规则的工具
sbin/ipvsadm-restore：恢复或者读取规则到内存的工具
/sbin/ipvsadm-save：保存内存中的规则的工具
【默认情况下，所配置的规则都是保存在内存中的】
9. Lvs模式配置实例详解
9.1 nat模式
1> 实验需要三台主机：两台RS（real server），一台DS（调度器，负载均衡器）DS需要两块网卡，一块通外网，一块通内网
DS（.4机）：
nat（外网地址，网卡配置为动态，也可用桥接，能与主机通信即可）
192.168.16.130 255.255.255.0 192.168.16.2（自动获取，网关为主机地址）
vmnet4（内网地址）
172.168.16.1 255.255.255.0
RS1（.5机）：vmnet4 172.168.16.2 255.255.255.0 172.168.16.1（网关，指向调度器）
RS2（.6机）：vmnet4 172.168.16.6 255.255.255.0 172.168.16.1（网关。指向调度器）
2> DS必须开启FORWARDR用来转发内外网，S1、RS2开启httpd
#.4 ：
[root@localhost~]# echo “net.ipv4.ip_forward=1” >> /etc/sysctl.conf
[root@localhost~]# sysctl -p
3> 安装ipvsadm包
#.4机： [root@localhost~]# mount /dev/cdrom /mnt [root@localhost~]# yum install ipvsadm -y
4> 配置
#.4: ipvsadm -A -t 192.168.16.130:80 -s rr # -A：addservers，添加服务ip；-t：tcp协议；服务ip：端口-s：算法，轮循 ipvsadm -a -t 192.168.16.130:80 -r 172.168.16.2 -m #-a：addrealserver， -r 后端的realserver ；-m：nat模式 ipvsadm -a -t 192.168.16.130:80 -r 172.168.16.3 -m
5> 查看
[root@localhost~]#ipvsadm -L -n
关闭防火墙，启动httpd，windows端浏览器访问，或用命令行用curl命令查看
9.2 DR模式
路由模式调度器仅需一块网卡即可
DR：192.168.16.4
RS1：192.168.16.5
RS2：192.168.16.6
VIP：192.168.16.250
1> 添加对外服务的ip（vip）
#.4：
1> 添加服务ip
[root@localhost ~]# ipvsadm -A -t 192.168.16.250:80 -s rr
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.16.250:80 rr
2> 配置网卡的子网口为vip
#一共一块网卡，需要设置别名，配置网卡的子网口为192.168.16.250（vip）
[root@localhost ~]# ifconfig ens33:0 192.168.16.250 broadcast 192.168.16.250 netmask 255.255.255.255 up #设置网卡别名为ens33:0（：后面任意） 广播地址 掩码（32位）up表示启动
[root@localhost ~]# ifconfig -a #查看网卡别名
ens33:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.16.250 netmask 255.255.255.255 broadcast 192.168.16.250
ether 00:50:56:31:9b:19 txqueuelen 1000 (Ethernet)
3> 添加静态路由，使得集群节点给客户返回时能返回
[root@localhost ~]# route add -host 192.168.16.250 dev ens33:0 #所有访问192.168.16.250都走ens33:0这个网卡
[root@localhost ~]# route -n #查看路由
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.16.2 0.0.0.0 UG 100 0 0 ens33
192.168.16.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 ens33
4> 添加两块RS（在调度器上添加）
#.4：
[root@localhost ~]# ipvsadm -a -t 192.168.16.250:80 -r 192.168.16.5:80 -g
[root@localhost ~]# ipvsadm -a -t 192.168.16.250:80 -r 192.168.16.6:80 -g #-g 表示路由模式（DR）
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.16.250:80 rr
-> 192.168.16.5:80 Route 1 0 0
-> 192.168.16.6:80 Route 1 0 0
2> 配置RS
客户端请求服务时报文必须经过网卡ens33，但ens33上并没有vip，所以ens33 将报文交给其上的具有vip的loopback接口访问到web服务，访问到web服务后web服务回应，此时若不指定路由，报文直接经ens33出去，ip会改变（不是vip），因此必须指定一个静态路由是文本服务经过lo接口，再通过ens33物理网卡出去，vip此时此刻在lo上。
两个内核参数arp_anounce、arp_ignore的参数
arp_ignore:定义接收到ARP请求时的响应级别
0：默认，只用本地配置的有响应地址都给予响应
1：仅仅在目标IP是本地地址，并且是配置在请求进来的接口上的时候才给予响应(仅在请求的目标地址配置请求到达的接口上的时候，才给予响应)
arp_announce：定义将自己的地址向外通告时的级别
0：默认，表示使用配置在任何接口的任何地址向外通告
1：尽量仅向目标网络通告与其网络匹配的地址
2：仅向与本地接口上地址匹配的网络进行通告
定义arp可以避免和调度器vip冲突
为了配置方便可行，使用shell脚本进行配置
#.5： [root@localhost ~]# vim lvs_dr_rr.sh #!/bin/bash case $1 in #使用case语句，对输入的第一个参数（start、stop）操作 start) #开启情况 ifconfig lo:0 192.168.16.250 broadcast 192.168.16.250 netmask 255.255.255.255 up #定义子网vip if [ $? -eq 0 ];then route add -host 192.168.16.250 dev lo:0 #添加静态路由，所有访问.250的都经过lo接口 fi echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore #修改内核参数 echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore echo "2">/proc/sys/net/ipv4/conf/all/arp_announce ;; stop) #关闭情况 ifconfig lp:0 down route del -host 192.168.16.250 echo "0">/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0">/proc/sys/net/ipv4/conf/lo/arp_announce echo "0">/proc/sys/net/ipv4/conf/all/arp_ignore echo "0">/proc/sys/net/ipv4/conf/all/arp_announce ;; *) #其他情况 echo "Usage: start|stop" ;; esac ：wq #查看执行情况 [root@localhost ~]# bash lvs_dr_rr.sh start [root@localhost ~]# cat /proc/sys/net/ipv4/conf/lo/arp_announce 2 #内核参数已更改 [root@localhost ~]# ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 ……… inet 192.168.16.250/32 brd 192.168.16.250 scope global lo:0 #vip已建立（32位掩码） [root@localhost ~]# route -n #静态路由已添加 Destination Gateway Genmask Flags Metr 192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 lo #将改脚本发送给192.168.16.6 [root@localhost ~]# scp lvs_dr_rr.sh root@192.168.16.6:/root root@192.168.16.6's password: lvs_dr_rr.sh 100% 717 0.7KB/s 00:00 #.6查看执行 [root@localhost ~]# ls anaconda-ks.cfg lvs_dr_rr.sh test [root@localhost ~]# bash lvs_dr_rr.sh start [root@localhost ~]# ip a #vip inet 192.168.16.250/32 brd 192.168.16.250 scope global lo:0 [root@localhost ~]# cat /proc/sys/net/ipv4/conf/lo/arp_announce #内核参数 2 [root@localhost ~]# route -n #静态路由 Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.16.250 0.0.0.0 255.255.255.255 UH 0 0 0 lo
3> 运行检查
1> 编辑首页文件 #.5： [root@localhost ~]# vim /var/www/html/index.html This is realserver1 ：wq [root@localhost ~]# vim /var/www/html/index.html This is realserver2 ：wq 2> 关闭DR、RS1、RS2的防火墙，启动httpd服务 #3> windows端访问 #因采用轮循算法，刷新一次改变一次 #cmd运行窗口 C:\Users\WenKe>ping 192.168.16.250 #能ping通 正在 Ping 192.168.16.250 具有 32 字节的数据: 来自 192.168.16.250 的回复: 字节=32 时间<1ms TTL=64 C:\Users\WenKe>curl 192.168.16.250 #轮循，权重为1:1 This is realserver2 C:\Users\WenKe>curl 192.168.16.250 This is realserver1 C:\Users\WenKe>curl 192.168.16.250 This is realserver2 C:\Users\WenKe>curl 192.168.16.250 This is realserver1
