LVS DR模型
1,环境
VMWare10, CentOS6.3
2,LVS DR网络规划
所有机器都只需要一张网卡,给Director的eth0网卡起个别名eth0:1即VIP的值;给RealServer的lo网卡起个别名lo:0,地址指向VIP
VIP: 虚拟IP,终端用户在浏览器端输入VIP,Director通过lvs调度算法将请求转给Real Server
RIP: Real Server的IP
3,Director配置
3.1,lvs软件安装
检查内核是否加载了ipvs模块:
# lsmod | grep ip_vs如果没有加载,则手动加载:
# modprobe ip_vs安装ipvsadm
sudo yum install ipvsadm
3.2,配置网卡
# setup
setup之后最终效果如下:
网卡eth0: (使用VMware NAT模式连接网络)
ip : 192.168.22.128
mask: 255.255.255.0
gateway: 192.168.22.2(VMware NAT的网关IP)网卡eth0别名: eth0:1 (别名是通过后面的脚本来配置)
ip: 192.168.22.222 (VIP)
mask: 255.255.255.0设置Director路由转发
net.ipv4.ip_forward=1
3.3,ipvsadm命令、启动脚本
ipvsadm命令
1, 添加/编辑集群服务
-A|E -t|u|f vip:port -s SCHEDULE_METHOD
A|E: 添加|编辑
-t|u|f: tcp|udp|firewall
vip:port: 集群服务
-s: 指定调度算法(默认wlc)wlc | wrr | rr2, 删除集群服务
-D -t|u|f vip:port3, 添加/编辑Real Server
-a|e -t|u vip:port -r rip:port -g|i|m -w weight
-a|e: 添加|修改realserver
-t|u: tcp|udp
vip:port 同上
-r rip:port: 指定Real Server的ip及服务端口
-g|i|m: 指定lvs模型, g: 默认gateway直接路由(director routing); i: internet turn隧道; m: nat地址伪装
-w weight: 指定此Real Server的权重4, 删除realserver
-d -t|u vip:port -r rip:port5, 查看当前的规则
-L -n --stats/rate6, 清空规则
-C7, 保证机器重启依然生效
service ipvsadm save
编写一个shell脚本,避免每次都输入命令:
director.sh
#!/bin/bash
#description: Config director
VIP=192.168.22.222
RIP1=192.168.22.131
RIP2=192.168.22.132
case "$1" in
start)
#**配置别名保存vip, vip只跟自己通信**
ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
route add -host $VIP dev eth0:1 #如果目标是vip,则通过eth0:1出去。
echo 1 > /proc/sys/net/ipv4/ip_forward #打开路由转发
/sbin/iptables -F #清空iptables,iptables与ipvsadm不能同时用
/sbin/iptables -Z #重置iptables
/sbin/ipvsadm -C #清空ipvsadm
ipvsadm -A -t $VIP:80 -s wrr
ipvsadm -a -t $VIP:80 -r $RIP1:80 -w 1 -g
ipvsadm -a -t $VIP:80 -r $RIP2:80 -w 1 -g
echo "ipvsadm start ok"
;;
stop)
ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 down
echo 0 > /proc/sys/net/ipv4/ip_forward
/sbin/ipvsadm -C
echo "ipvsadm stoped"
;;
status)
isrunning=`ipvsadm -L -n | grep $VIP`
if [ ! "$isrunning" ]; then
echo "ipvsadm is stoped..."
else
echo "ipvsadm is running..."
ipvsadm -L -n
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
start: sh director.sh start
stop: sh director.sh stop
status: sh director.sh status
4,Real Server配置
4.1, 配置网卡
这里只把Real Server 1的配置列出来,Real Server 2配置步骤与此相同。
# setup
setup之后最终效果如下:
网卡eth0: (使用VMware NAT模式连接网络)
ip: 192.168.22.131
mask: 255.255.255.0
gateway: 192.168.22.2(VMware NAT的网关IP)
4.2, 安装web服务
安装nginx/apache/...,步骤省略
安装完后启动web服务
查看服务是否启动
# netstat -tnlp
4.3, 启动脚本
用脚本完成对lo网卡的别名操作:
director.sh
VIP=192.168.22.222
case "$1" in
start)
/sbin/ifconfig lo down
/sbin/ifconfig lo up
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo "realserver start ok"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $VIP >/dev/null 2>&1
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
echo "realserver stoped"
;;
status)
islothere=`/sbin/ifconfig lo:0 | grep $VIP`
isrothere=`netstat -rn | grep "lo" | grep $VIP`
if [ ! "$islothere" -o ! "$isrothere" ]; then
echo "LVS-DR real server stopped."
else
echo "LVS-DR real server running."
fi
;;
*)
echo "Usage: $0 {start|stop|status}"
exit 1
esac
exit 0
start: sh realserver.sh start
stop: sh realserver.sh stop
status: sh realserver.sh status
5, 测试
至此LVS NAT环境搭建完成,我们来测试一下:
在浏览器中输入VIP来访问:
http://192.168.22.222/index.html使用linux提供的并发测试命令来测试lvs调度情况:
ab -c 100 -n 1000 http://192.168.22.222/index.html可以修改lvs调度算法
ipvsadm -E -t 192.168.22.222:80 -s wrr
ipvsadm -E -t 192.168.22.222:80 -s rr查看lvs调度情况
ipvsadm -L -n --stats|rate