LVS + keepalived(DR) 实战
一、LVS体系结构
使用LVS架设的服务器集群系统有三个部分组成：最前端的负载均衡层，用Load Balancer表示，中间的服务器群组层，用Server Array表示，最底端的数据共享存储层，用Shared Storage表示，在用户看来，所有的内部应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务。
LVS体系结构如图1所示：
二、LVS 3种负载均衡技术对比
负载均衡技术有很多实现方案，有基于DNS域名轮流解析的方法、有基于客户端调度访问的方法、有基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的是IP负载均衡技术。
LVS
的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director
Server上，同时在Director
Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual
IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。
当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术。
VS/NAT： 即（Virtual Server via Network Address Translation）
也
就是网络地址翻译技术实现虚拟服务器，当用户请求到达调度器时，调度器将请求报文的目标地址（即虚拟IP地址）改写成选定的Real
Server地址，同时报文的目标端口也改成选定的Real Server的相应端口，最后将报文请求发送到选定的Real
Server。在服务器端得到数据后，Real
Server返回数据给用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过
程。
可以看出，在NAT方式下，用户请求和响应报文都必须经过Director Server地址重写，当用户请求越来越多时，调度器的处理能力将称为瓶颈。
VS/TUN ：即（Virtual Server via IP Tunneling）
也
就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样，只是它的报文转发方法不同，VS/TUN方式中，调度器采用IP隧道技术将
用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过前端调度器，此外，对Real
Server的地域位置没有要求，可以和Director
Server位于同一个网段，也可以是独立的一个网络。因此，在TUN方式中，调度器将只处理用户的报文请求，集群系统的吞吐量大大提高。
VS/DR： 即（Virtual Server via Direct Routing）
也
就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT和VS/TUN中的一样，但它的报文转发方法又有不同，VS/DR通过改写请求报文
的MAC地址，将请求发送到Real Server，而Real
Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director
Server与Real Server都有一块网卡连在同一物理网段上。
下面通过几个图示了解一下：
三、如何选择合适的负载模式根据自己的需要，下面讲解一下常用的DR负载的搭建
1、准备：
二台DirectorServer 192.168.15.5(主） 192.168.15.6（备） 虚拟IP 192.168.15.100
二台RealServer 192.168.15.8 192.168.15.9
2、DirectorServer LVS安装
现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。
检查内核是否支持lvs的ipvs模块
[root@dev-test ~]# modprobe -l|grep ipvs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
可以看到内核默认支持ipvs模块
3、DirectorServer keepAlived 安装
这里我使用的是自动安装的keepAlived，当然也可以找对应的版本下载后安装，这里我不做详细介绍，直接命令行：
root@test-api:/home/clonencheng# apt-get install keepalived
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages were automatically installed and are no longer required:
linux-headers-3.13.0-52 linux-headers-3.13.0-52-generic
linux-headers-3.13.0-83 linux-headers-3.13.0-83-generic
linux-headers-3.13.0-85 linux-headers-3.13.0-85-generic
linux-headers-3.13.0-87 linux-headers-3.13.0-87-generic
linux-headers-3.13.0-88 linux-headers-3.13.0-88-generic
linux-headers-3.13.0-91 linux-headers-3.13.0-91-generic
linux-headers-3.13.0-92 linux-headers-3.13.0-92-generic
linux-headers-3.13.0-93 linux-headers-3.13.0-93-generic
linux-image-3.13.0-52-generic linux-image-3.13.0-83-generic
linux-image-3.13.0-85-generic linux-image-3.13.0-87-generic
linux-image-3.13.0-88-generic linux-image-3.13.0-91-generic
linux-image-3.13.0-92-generic linux-image-3.13.0-93-generic
linux-image-extra-3.13.0-52-generic linux-image-extra-3.13.0-83-generic
linux-image-extra-3.13.0-85-generic linux-image-extra-3.13.0-87-generic
linux-image-extra-3.13.0-88-generic linux-image-extra-3.13.0-91-generic
linux-image-extra-3.13.0-92-generic linux-image-extra-3.13.0-93-generic
Use 'apt-get autoremove' to remove them.
The following extra packages will be installed:
iproute ipvsadm libperl5.18 libsensors4 libsnmp-base libsnmp30
Suggested packages:
heartbeat ldirectord lm-sensors snmp-mibs-downloader
The following NEW packages will be installed:
iproute ipvsadm keepalived libperl5.18 libsensors4 libsnmp-base libsnmp30
0 upgraded, 7 newly installed, 0 to remove and 181 not upgraded.
Need to get 1,223 kB of archives.
After this operation, 4,729 kB of additional disk space will be used.
Do you want to continue? [Y/n]
回车后自动安装完成。
4、配置keepalvied
自动安装的keepalvied配置文件位于：/etc/keepalived/keepalived.conf,下面分别贴出主备的配置，注意：主备virtual_router_id必须一致，且priority的值主>备。
master keepalived配置如下：
global_defs {
notification_email {
#coffee.lee@yhouse.com
}
notification_email_from ubuntu@192.168.15.5
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100 # 100 on master, 90 on backup
quiescent=no # 当realserver被移除时，丢弃跟踪记录和连接持续模板
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.15.100 dev eth0
}
virtual_server 192.168.15.100 8038 { #注意IP地址与端口号之间用空格隔开
delay_loop 2 #设置健康检查时间，单位是秒
lb_algo rr #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法
lb_kind DR #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选
nat_mask 255.255.0.0
# persistence_timeout 50 #会话保持时间，单位为秒
protocol TCP #指定转发协议类型，有TCP和UDP两种
real_server 192.168.15.8 8038 {
weight 1 #配置节点权值，数字越大权值越高
TCP_CHECK {
connect_timeout 5 #表示3秒无响应，则超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.15.9 8038 { #配置服务器节点，即Real Server2的public IP
weight 1 #配置节点权值，数字越大权值越高
TCP_CHECK {
connect_timeout 5 #表示3秒无响应，则超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
}
backup keepalived配置如下：
global_defs {
notification_email {
#coffee.lee@yhouse.com
}
notification_email_from ubuntu@192.168.15.5
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 90 # 100 on master, 90 on backup
quiescent=no # 当realserver被移除时，丢弃跟踪记录和连接持续模板
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.15.100 dev eth0 #dev.api.yhouse.com
}
virtual_server 192.168.15.100 8038 { #注意IP地址与端口号之间用空格隔开
delay_loop 2 #设置健康检查时间，单位是秒
lb_algo rr #设置负载调度算法，默认为rr,即轮询算法,最优秀是wlc算法
lb_kind DR #设置LVS实现LB机制，有NAT、TUNN和DR三个模式可选
nat_mask 255.255.0.0
# persistence_timeout 50 #会话保持时间，单位为秒
protocol TCP #指定转发协议类型，有TCP和UDP两种
real_server 192.168.15.8 8038 {
weight 1 #配置节点权值，数字越大权值越高
TCP_CHECK {
connect_timeout 5 #表示3秒无响应，则超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
real_server 192.168.15.9 8038 { #配置服务器节点，即Real Server2的public IP
weight 1 #配置节点权值，数字越大权值越高
TCP_CHECK {
connect_timeout 5 #表示3秒无响应，则超时
nb_get_retry 2 #表示重试次数
delay_before_retry 2 #表示重试间隔
}
}
}
}
5、配置RealServer
二台RealServer服务器上，我们分别启动二个测试服务，这里我用的是tomcat,下面只包含一个index.jsp文件，为了区分请求转发到哪台服务器，内容做如下区分：
在二台RealServer下分别执行以下脚本realserver.sh （为了使realsever能够接受来自虚拟服务器的请求）：
#!/bin/bash
VIP=192.168.15.100
case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
6、至此，LVS+keepalived(DR)已经基本搭建完，下面我们来测试下：
我们先输入地址刷新一下：
再刷新一下，则变成了：
说明我们搭建没有问题，请求能够自动在二台realserver之间切换，lvs有8种负载策略，这里我们用的是rr即轮询，所以看到了以上的结果，刷新一下换一下，其他策略这里不做详细介绍，有兴趣可以测试一下，比如加权轮询，最少连接等等。
上面的dev.corp.yhouse.com/dev，我使用的是nginx转发的，nginx配置如下：
server {
charset utf-8;
client_max_body_size 4M;
listen 80;
index index.html index.htm index.jsp;
server_name dev.corp.yhouse.com;
location / {
deny all;
}
location /dev/ {
proxy_pass http://192.168.15.100:8038/test/;
proxy_set_header Host $host;
}
}
从配置可以看出，从nginx访问直接转发至虚拟IP（LVS层），而不关心最终服务地址。
