LVS的DR模式测试案例<仅个人记录>
- 初始概念
大家都知道LVS，是章文嵩博士创建的，所以首先推一下主站吧！http://zh.linuxvirtualserver.org/
LVS集群分为三层结构：
- 负载调度器（load balancer）：它是在整个LVS集群对外服务器的前端机器，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址（我们可称之为虚拟IP地址）上的。
- 服务器池（server pool）：一组真正执行client请求的服务器，web,ftp,mail,dns等等
- 共享存储（shared stored）：它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。（常见有搭建NFS/CIFS服务器，但是一般只可以支持3~6个繁忙的服务器结点）
分布式文件系统，常见的有AFS，GFS，Coda，Intermezzo等
理解了上面的基础概念，然后再来看一下这个DR模式的体系结构图一下。
其实，开始的时候不用想得那么复杂，可以想简单一些，其实就是简单的，先直接访问一台服务器（负载调度器）然后再决定这次的访问到底访问那台服务器（服务器池中的那台），就可以了。至于这台服务器是怎么搭建的之类的，其实并不在这个范围内的，但是一般也会带上，就是挂存储之类的了。
先准备三台机器，分别是：
- 负载调度器
- 192.168.1.191
- 服务器池
- 192.168.1.189
- 192.168.1.213
配置负载调度器：
#yum install -y ipvsadm
<这步包含在脚本中了，但是是每次都会进行配置，以下步骤是进行配置一次>
#配置负载调度器服务器的虚拟IP:
#ifconfig eth0:0 192.168.1.192 netmask 255.255.255.0 up
上面的这个只是临时的配置的办法，具体的可以按以下操作一下：
# cd /etc/sysconfig/network-scripts/
# cp ifcfg-eth0 ifcfg-eth0:1
然后再修改一下 ifcfg-eth0:1 文件中的IP地址即可
#cd /usr/local/sbin
#vim lvs_dr.sh
#将下面sh的内容粘贴到sh文件中
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.1.192
rs1=192.168.1.213
rs2=192.168.1.189
ifconfig eth0:0 down
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 3
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
$ipv -A -t $vip:25 -s rr
$ipv -a -t $vip:25 -r $rs1:25 -g -w 3
$ipv -a -t $vip:25 -r $rs2:25 -g -w 1
将上面的一些地址改一下，vip是虚拟IP地址，rs1、rs2分别是服务器池中服务器的IP地址，然后下面就是配置虚拟IP及其利用ipvsadm相关的配置命令，其中可以看到有建两条，一条是80端口，一条是25端口。
可能命令相关的会有些问题，不太懂，没有关系，下面再看一下命令详解，就清楚是为什么会这么写上面的这些命令了。其中的rr 表示相关的模式，这个下面也直接引用，我自认不比这个讲得更好，但是上面为了测试，将其设置为rr, 就是轮询模式，但是这个25端口，一般是需要进行相关的验证，所以在此建议，25或者需要一些需要验证的服务，不要设置为rr轮询模式。
引用：ipvsadmin工具命令详解 ipvsadm 参数详解 -A (--add-service) 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。 -E (--edit-service) 编辑内核虚拟服务器列表中的一条虚拟服务器记录 -D (--delete-service) 删除内核虚拟服务器列表中的一条虚拟服务器记录 -C (--clear) 清除内核虚拟服务器列表中的所有规则 -R (--restore) 恢复虚拟服务器规则 -S (--save) 保存虚拟服务器规则，输出为-R 选项可读的格式 -a (--add-server) 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server -e (--edit-server) 编辑一条虚拟服务器记录中的某条Real Server记录 -d (--delete-server) 删除一条虚拟服务器记录中的某条Real Server记录 -L|-l –list 显示内核中虚拟服务器列表 -Z (--zero) 虚拟服务器列表计数器清零（清空当前的连接数量等） --set tcp tcpfin udp 设置连接超时值 -t 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port] -u 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port] -f fwmark 说明是经过iptables标记过的服务类型 -s 此选项后面跟LVS使用的调度算法，有这样几个选项： rr|wrr|lc|wlc|lblc|lblcr|dh|sh，默认的调度算法是： wlc -p [timeout] 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout 的默认值为360 分钟。例如：-p 600，表示持续服务时间为600分钟。 -r 指定Real Server的IP地址，此选项后面跟格式： [real-server-ip:port] -g (--gatewaying) 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式） -i (-ipip) 指定LVS 的工作模式为隧道模式 -m (--masquerading) 指定LVS 的工作模式为NAT模式 -w (--weight) weight 指定Real Server的权值 -c (--connection) 显示LVS目前的连接信息 如：ipvsadm -L -c -L --timeout 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout -L --daemon 显示同步守护进程状态，例如：ipvsadm -L –daemon -L --stats 显示统计信息，例如：ipvsadm -L –stats -L --rate 显示速率信息，例如：ipvsadm -L --rate -L --sort 对虚拟服务器和真实服务器排序输出，例如：ipvsadm -L --sort 保存添加的虚拟ip记录和ipvsadm的规则可以使用service ipvsadm save，还可以用-S或--save。清除所有记录和规则除了使用-C，还以使用--clear。 示例： 查看记录和规则 #ipvsadm -L -n 选项是统计自该条转发规则生效以来的包 #ipvsadm -L --stats 显示速率信息 #ipvsadm -L --rate
lvs中的集中调试模式
1、rr（round robin：轮询。 --在服务器池中无穷的循环遍历。 2、wrr（weighted round robin）：权重轮询法。 --根据权重值，来分配请求连接，处理的请求连接数与权重值的比率一致。 3、lc（least-connection）：最少连接法。 --当请求到达director时，director查看活动和非活动的连接数量，以确定把请求分发给哪个服务器，director将集群节点目前的活动连接数量x256再加上不活动的连接数量，得到借点的开销值。最低开销值的节点胜出，被分发给新的入站请求。（如果开销一样，则第一个节点被选中）。 4、wlc（weighted least-connection）：带权重的最少连接法。 --先如lc算出集群节点的开销值，然后除以分配给其的权重值，最小值节点胜出，将入站请求分发给它。 5、lblc（locality-based least-connection）：基于本地的最少连接法。 --基于局部的最小连接，当realserver是缓存服务器的时候用的比较多。 6、lblcr（locality-based least-connection with replication）：带复制的基于局部的最小连接。 --当realserver是缓存服务器的时候用的比较多。 7、dh（destination hashing）：目标散列法 8、sh（source hashing）：源散列法。 --同一个ip的客户端总是分发给同一个realserver。相当于有客户粘性，与nginx中的iphash一致。 9、sed（shortest expected delay）:最短预期延迟法。 --最短延时预测（ci+1）/ui，ci是连接数，ui是权重值。在wlc方法上做啦轻微改进，这些服务使用tcp，而且当群节点在处理每个请求时保持在活动状态。计算方法：每个集群节点的的开销值是通过将活动的连接数+1计算的。然后开销值除以分配权重值，得到的就是sed值，值少的集群节点胜出。 10、nq（never queue）：永不排队法。 --没有队列，分配请求给空闲的服务器，没有空闲的服务器就找响应最快的。
配置服务器池中的服务器
以下两条服务器的配置均一样的
192.168.1.189
先配置回环接口，这个也是临时配置的，如果需要，也可以直接去复制编辑ifcfg-lo的配置文件为ifcfg-lo:1一份。然后再添加一条route路由。然后再配置进行回应
[root@bogon sbin]# cat /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.1.192
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
[root@bogon sbin]#
192.168.1.213
[root@localhost sbin]# cat /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.1.192
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
[root@localhost sbin]#
理解arp_ignore与arp_announce参数详细
arp响应限制arp_ignore: 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有（本地地址）的arp查询 arp响应限制arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送. 在dr模式中我们的realserver配置arp_ignore为1：意思是不是eno16777736所在ip的请求，我不与应答。arp_announce为2：意思是我不对外公布我有出来eno16777736所在ip之外的任何ip，避免主动宣告ip使arp广播包发送过来，做出应答。
至此，配置已经配置好了，可以测试一下，看一下效果：《这是在一台测试机器上面测试的》
我测试了两次25端口，一次端口正常，一次端口不正常。
192.168.1.189提供的服务中有25：
192.168.1.213服务器并没有提供25服务：
所以至此，测试完成。这是DR+轮询模式。下面也再补上一点，telnet到192.168.1.189服务器上面服务器的IP地址显示的问题。显示的还是来源地址。
谢谢，张总的博客，里面有不少干货。在此贴上相关的链接：
还有《肖邦linux》兄弟的博客，写得很好。
http://www.cnblogs.com/liwei0526vip/p/6370103.html
