[Linux]LVS（Linux Virtual Server）
LVS（Linux Virtual Server）
什么是LVS？
LVS（Linux Virtual Server，Linux虚拟服务器），是一个虚拟的服务器集群系统，本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的开源项目之一，目前已被集成到 Linux 内核模块中。该项目在 Linux 内核中实现了基于TCP层的IP数据负载均衡分发，其工作在内核空间且仅做负载均衡分发处理，所以稳定性相对较好，性能相对较强，对内存及CPU资源的消耗也最低。
为什么要用LVS？
随着 Internet 的爆炸性增长以及日常生活中的日益重要的作用，Internet 上的流量速度增长，以每年100%以上的速度增长。服务器上的工作负载压力也迅速增加，因此服务器在短时间内将会过载，尤其是对于受欢迎的网站而言。为了克服服务器的过载压力问题，有两种解决方案。
- 单服务器解决方案：增加原有服务器的规格，应对服务器压力过载
- 多服务器解决方案：构建服务器集群，动态增加服务器数量，应对峰值压力
- 基于DNS的负载均衡集群 —— 从域名解析到IP的过程进行负载均衡
- 基于分派器的负载均衡集群 —— 通过对四层/七层请求进行负载均衡分发
LVS的组成及作用
一般来说，LVS集群采用三层结构，其主要组成部分为：
- 负载均衡调度器：它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（VIP）上的。
- 服务器池：是一组真正执行客户请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
- 共享存储：它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
LVS代码由两部分组成，包括 ipvs 和 ipvsadm
- ipvs（ip virtual server）：LVS是基于内核态的 netfilter 框架实现的 ipvs 功能，工作在内核态。
- ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的 增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信。
ipvs 和 ipvsadm 的可以类比为 netfilter 和 iptables 的关系
LVS相关术语
首先需要解释LVS中的几种IP：
RS：Real Server，后端服务器
VS：Virtual Server，LVS服务器
VIP：Virtual IP，LVS服务器上接收外网数据包的网卡IP地址。
DIP：Director IP，LVS服务器上转发数据包到RealServer的网卡IP地址。
RIP：RealServer（简称RS）接收Director转发数据包的IP，即提供服务的服务器IP。
CIP：客户端的IP。
访问流程：CIP <–> VIP == DIP <–> RIP
LVS基本工作原理
LVS的基本工作原理如下：
- 用户向负载均衡调度器发起请求，然后调度器将请求发往内核空间；
- PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，然后将数据包发往INPUT链；
- 由于IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS就会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链；
- POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务，那么此时通过选路，将数据包发送给后端的服务器。
LVS的三种工作模式：
- LVS-NAT：修改请求报文的目标IP，多目标IP的DNAT
- LVS-DR：操纵封装新的MAC地址
- LVS-TUN：在原请求IP报文之外新加一个IP首部
① LVS的NAT模式
VS/NAT：本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某台 RS 的 RIP 和 PORT 实现转发
NAT模式的特点：
- RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
- 请求报文和响应报文都必须经由Director转发，因此Director容易成为系统瓶颈
- 支持端口映射，可修改请求报文的目标PORT
- VS必须是Linux系统，RS可以是任意的OS系统
NAT模式转发流程概述：
- 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。（此时报文的源IP为CIP，目标IP为VIP）
- PREROUTING检查发现数据包的目标IP是本机，于是将数据包送至INPUT链；
- IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发送至POSTROUTING链。（此时，报文的源IP为CIP，目标IP为RIP）
- POSTROUTING链通过选路，将数据包发送给RealServer；
- RealSever比对发现目标为自己的IP，开始构建响应报文发回给Director Server。（此时报文的源IP为RIP，目标IP为CIP）
- Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。（此时报文的源IP为VIP，目标IP为CIP）
② LVS-DR
VS/DR：Direct Routing，直接路由，LVS默认模式，应用最广泛，通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP+端口，以及目标IP+端口均保持不变。
DR模式的特点：
- Director和各RS都配置有VIP。
- 确保前端路由器将目标IP为VIP和Director的MAC地址。
- RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director。
- RS和Director要在同一个物理网络。
- 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client。
- 不支持端口映射（端口不能修改）。
- 无需开启ip_forward。
- RS可使用大多数OS系统。
DR模式转发流程概述：
- 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。（此时报文的源IP为CIP，目标IP为VIP）
- PREROUTING检查发现数据包的目标IP是本机，于是将数据包送至INPUT链；
- IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址；
- 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server；
- RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP；
- 响应报文最终送达至客户端。
③ LVS-TUN
VS/TUN：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部（源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP是CIP）
TUN模式特点：
- RIP和DIP可以不处于同一物理网络中，RS的网关一般不能指向DIP，且RIP可以和公网通信。也就是说集群节点可以跨互联网实现（DIP、VIP、RIP可以是公网地址）。
- RealServer的tun接口上需要配置VIP地址，以便接收Director转发过来的数据包，以及作为响应的报文源IP。
- Director转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP。
- 请求报文要经由Director，但响应不经由Director，响应由RealServer自己完成。
- 不支持端口映射。
- RS的OS必须支持隧道功能。
- 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链；（此时报文的源IP为CIP，目标IP为VIP）
- PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链；
- IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。（此时源IP为DIP，目标IP为RIP）
- POSTROUTING链根据最新封装的IP报文，将数据包发至RS，因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输；（此时源IP为DIP，目标IP为RIP）
- RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口的VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。（此时的源IP地址为VIP，目标IP为CIP）
- 响应报文最终送达至客户端。
三种方法的常见应用场景
| _ | VS/NAT | VS/TUN | VS/DR |
|---|---|---|---|
| 服务器类型 | 任意 | 支持隧道功能更 | 非ARP设备 |
| 服务器网络 | private | LAN/WAN | LAN |
| 服务器数量 | 10~20台 | 100+台 | 100+台 |
| 服务器网关 | 负载均衡器 | 路由器 | 路由器 |
ipvsadm工具介绍
程序包：ipvsadm
Unit File：ipvsadm.service
主程序：/usr/sbin/ipvsadm
规则保存工具：/usr/sbin/ipvsadm-save
规则重载工具：/usr/sbin/ipvsadm-restore
配置文件：/etc/sysconfig/ipvsadm-config
ipvs调度规则文件：/etc/sysconfig/ipvsadm
ipvsadm命令
ipvsadm核心功能：
- 集群服务、RealServer的管理：增、删、改、查
ipvsadm工具用法：
# 管理集群服务
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask]
[--pe persistence_engine] [-b sched-flags] # -t,tcp | -u,udp | -f firewall-mark
ipvsadm -D -t|u|f service-address #删除
ipvsadm –C #清空
ipvsadm –R #重载,相当于ipvsadm-restore
ipvsadm -S [-n] #保存,相当于ipvsadm-save
# 管理集群中的RS
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
LVS实战案例
LVS-NAT模式案例
环境说明：
- 一台 Client （网卡：仅主机模式；Gateway：无）
- 一台 LVS（网卡1：仅主机模式，网卡2：NAT模式）
- 两台 RS（网卡：NAT模式；Gateway：设置为DIP）
LVS-Server 配置：
# 安装ipvsadm
yum install -y ipvsadm
# 定义集群服务规则
ipvsadm -A -t 172.25.0.144:80 -s rr
# 定义集群中的RS规则（-m：masquerade，NAT类型）
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.103:80 -m
ipvsadm -a -t 172.25.0.144:80 -r 10.0.8.104:80 -m
# 或者，采用加权轮询算法（-s wrr），把 Web-Server1 权重修改为3
ipvsadm -E -t 172.25.0.144:80 -s -wrr
ipvsadm -e -t 172.25.0.144:80 -r 10.0.8.103:80 -m -w 3
# 开启ip_forward
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
# 保存规则
ipvsadm -Sn > /etc/sysconfig/ipvsadm
systemctl enable --now ipvsadm.service
# 查看规则
[root@lvs-server ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.0.144:80 rr
-> 10.0.8.103:80 Masq 1 0 0
-> 10.0.8.104:80 Masq 1 0 0
配置测试（轮询）：
