LVS简单实现NAT&DR模型
LVS：Linux Virtual Server
一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。
现在LVS已经是Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。
LVS是LB集群的一种软件实现方案，类似的有haproxy,nginx,ats(apache traffice server),perbal等。
硬件实现方法：F5公司的BIG-IP(中高端60W+一台)，Citrix的Netscaler，A10公司的A10等。
LVS的组成：ipvs/ipvsadm
ipvs:工作于内核空间netfilter中的INPUT链上的程序，可根据用户定义的集群实现请求转发
ipvsadm:用户空间的命令行工具，用于管理集群服务及集群服务上的real server
ipvsadm命令的用法：由于此命令的选项很多，可归纳为两类，
①管理集群服务：
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] /* -A:添加 -E:修改 -t:TCP -u:UDP -f:firewall mark service-address: -t,tcp,vip:port -u,udp,vip:port -f,fwm,mark -s scheduler:调度方法，默认是wlc */ ipvsadm -D -t|u|f service-address // -D:删除
②管理集群上的RS：
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] /* -a:增加 -e:修改 -r server-address：RS的地址，rip[:port] -g:gateway,dr(默认) -i:ipip,tun -m:masquerade,nat */
③查看
ipvsadm -L|l [options] /* -n,--numeric:数字格式显示IP和PORT --exact:精确值 -c,--connection:显示IPVS连接 --stats:统计数据 --rate:速率 */
④保存和重载
//保存： ipvsadm -S > /PATH/TO/SOME_RULE_FILE ipvsadm-save > /PATH/TO/SOME_RULE_FILE //重载： ipvsadm -R < /PATH/TO/SOME_RULE_FILE ipvsadm-restore < /PATH/TO/SOME_RULE_FILE
⑤清空
//清空规则 ipvsadm -C //清空计数器 ipvsadm -Z [-t|u|f service-address]
LVS-NAT模型实现
Director:双网卡
外网地址：192.168.1.102(VIP)
内网地址：172.18.100.6(DIP)
RS1：装载httpd做测试
内网地址：172.18.100.11
RS2：装载httpd做测试
内网地址：172.18.100.12
部署：
(1)关闭防火墙，Selinux;RS1,RS2安装httpd，并写好测试页面，开启服务，确保服务可用。
(2)Director关闭防火墙，Selinux;清空iptables规则，开启内核ipv4_forward功能
echo 1 >> /proc/sys/net/ipv4/ip_forward
(3)安装ipvsadm命令行工具
yum -y install ipvsadm
(4)设定集群规则
ipvsadm -A -t 192.168.1.102:80 -s rr ipvsadm -a -t 192.168.1.102:80 -r 172.18.100.11 -m -w 1 ipvsadm -a -t 192.168.1.102:80 -r 172.18.100.12 -m -w 1
(5)查看指定的规则
ipvsadm -Ln
(6)启动另外一个主机开始测试，效果如下：
总结：
LVS-NAT设计要点：
(1)VIP和RIP必须在同一IP网络，RIP的网关要指向DIP
(2)支持端口映射
LVS-NAT的缺点：
在LVS/NAT的集群系统中，请求和响应的数据报文都需要通过负载调度器(Director)，当真实服务器(RealServer)的数目在10台和20台之间时，负载调度器(Director)将成为整个集群系统的新瓶颈。
LVS-DR模型实现
Director:
eno16777736:192.168.1.102(DIP)设置DIP目的：如果是用了keepalived等工具做HA或者Load Balance,则在健康检查时需要用到DIP。
eno16777736:0:192.168.1.100(VIP)
RS1:192.168.1.103
RS2:192.168.1.104
部署：
(1)关闭防火墙，Selinux;RS1,RS2安装httpd，并写好测试页面，开启服务，确保服务可用。
(2)Director上设置VIP：
ifconfig eno16777736:0 192.168.1.100 netmask 255.255.255.255 route add -host 192.168.1.100 dev eno16777736:0 /* lvs/dr里，director的vip的netmask 没必要一定设置为255.255.255.255，也不需要再去 route add -host $VIP dev eth0:0 director的vip本来就是要像正常的ip地址一样对外通告的,不要搞得这么特殊. */
(3)Director上设置规则：
ipvsadm -A -t 192.168.1.100:80 -s wrr ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.103 -g -w 1 ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.104 -g -w 2
(4)RS1和RS2的设置:主要是调整内核参数和物理接口lo的地址绑定，通过脚本实现：
#!/bin/bash # VIP=$2 case "$1" in start) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP route add -host $VIP dev lo:0 ;; stop) echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce route del $VIP ;; *) echo "Tips:$0{start|stop}" ;; esac
(5)用另外一个主机去访问VIP，可以看到效果了
总结：
核心要点
(1)调度器与实际服务器都有一块网卡连在同一物理网段上。
(2)RIP和DIP一般在同一网络(因为转发是在数据链路层实现的，必须保证MAC不会变)，且RIP的网关不能指向DIP;但两者未必和VIP在同一网络。
(3)各RS需先设置内核参数，再设置物理接口lo的VIP和路由。
(4)不支持端口映射
(5)Director的ip_forward不需要开启转发，因为Director和RS在同一网络。
(6)Director的VIP一般设置在网卡的别名上，如eth0:0或eno16777736:0上
