LVS负载均衡器DR模型的实现

概述：

在大规模互联网应用中，负载均衡设备是必不可少的一个节点，源于互联网应用的高并发和大流量的冲击压力，我们通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）

一、负载均衡的作用

负载均衡设备的任务就是作为应用服务器流量的入口，首先挑选最合适的一台服务器，然后将客户端的请求转发给这台服务器处理，实现客户端到真实服务端的透明转发。最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的，是后端的集群。

一个典型的互联网应用的拓扑结构是这样的：

二、负载均衡的类型

负载均衡可以采用硬件设备，也可以采用软件负载。

商用硬件负载设备成本通常较高（一台几十万上百万很正常），所以在条件允许的情况下我们会采用软负载，软负载解决的两个核心问题是：选谁、转发，其中最著名的是LVS（Linux Virtual Server）。

三、软负载——LVS

LVS是四层负载均衡，也就是说建立在OSI模型的第四层——传输层之上，传输层上有我们熟悉的TCP/UDP，LVS支持TCP/UDP的负载均衡。

LVS的转发主要通过修改IP地址（NAT模式，分为源地址修改SNAT和目标地址修改DNAT）、修改目标MAC（DR模式）来实现。

LVS的工作模式主要有4种：

DR

NAT

TUNNEL

Full-NAT

这里挑选常用的DR简单介绍一下：

请求由LVS接收，由真实提供服务的服务器（RealServer, RS）直接返回给用户，返回的时候不经过LVS

DR模式下需要LVS和绑定同一个VIP（RS通过将VIP绑定在loopback实现）

一个请求过来时，LVS只需要将网络帧的MAC地址修改为某一台RS的MAC，该包就会被转发到相应的RS处理，注意此时的源IP和目标IP都没变，LVS只是做了一下移花接木

RS收到LVS转发来的包，链路层发现MAC是自己的，到上面的网络层，发现IP也是自己的，于是这个包被合法地接受，RS感知不到前面有LVS的存在。而当RS返回响应时，只要直接向源IP（即用户的IP）返回即可，不再经过LVS，DR模式是性能最好的一种模式

四、根据ipvsadm工具来实战配置DR模型的实现

命令的主要配置步骤：

Director:
# iptables -t filter -F
# ifconfig eth0:0 VIP up
# route add -host VIP dev eth0:0

RSs:
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce

# ifconfig lo:0 VIP netmask 255.255.255.255 broadcast VIP up
# route add -host VIP dev lo:0

Director：
# ipvsadm -A -t IP:PORT -s SCHEDULER
# ipvsadm -a -t IP:PORT -r RS1 -g -w WEIGHT

虚拟环境vmware对DR模型的实现

网络拓扑

1.LVS负载均衡器，即VIP和DR的机器

清空防火墙设置(避免和lvs控制器冲突)：
# iptables -t filter -F

安装ipvsadm管理工具
# yum install -y ipvsadm

添加两块网卡

DR:

DIP:192.168.8.100

DEVICE=eth0
IPADDR=192.168.8.100
BROADCAST=192.168.8.255
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
NETWORK=192.168.8.0

VIP:192.168.8.40

# cd /etc/sysconfig/network-scripts/
# cp ifcfg-eth0 ifcfg-eth1
# vim ifcfg-eth1

DEVICE=eth1
IPADDR=192.168.8.40
BROADCAST=192.168.8.255
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
NETWORK=192.168.8.0

开启路由转发功能
# vim /etc/sysctl.conf
# sysctl -p

将访问192.168.8.40的路由转发至eth1
# route add -host 192.168.8.40 dev eth1

rs1
192.168.8.101
# cd /etc/sysconfig/network-scripts/
# vim ifcfg-eth0

IPADDR=192.168.8.101
NETWORK=192.168.8.0
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
BROADCAST=192.168.8.255

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# cd /etc/sysconfig/network-scripts/

# cp ifcfg-lo ifcfg-lo:0

# vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.8.40
NETMASK=255.255.255.255
BROADCAST=192.168.8.40
ONBOOT=yes
NAME=loopback

# service network restart
将访问192.168.8.40的数据转发到lo:0回环口上
# route add -host 192.168.8.40 dev lo:0

并验证配置是否生效

rs2
192.168.8.102
# cd /etc/sysconfig/network-scripts/
# vim ifcfg-eth0
IPADDR=192.168.8.101
NETWORK=192.168.8.0
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
BROADCAST=192.168.8.255

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# cp ifcfg-lo ifcfg-lo:0

# vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.8.40
NETMASK=255.255.255.255
BROADCAST=192.168.8.40
ONBOOT=yes
NAME=loopback

# service network restart

# route add -host 192.168.8.40 dev lo:0

3.对dr进行配置

# ipvsadm -A -t 192.168.8.40:80 -s rr
# ipvsadm -a -t 192.168.8.40:80 -r 192.168.8.101 -g
# ipvsadm -a -t 192.168.8.40:80 -r 192.168.8.102 -g

# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.8.40:80 rr
-> 192.168.8.101:80 Route 1 0 0

-> 192.168.8.102:80 Route 1 0 0

通过同网段的访问可以看到已经实现了负载轮询访问

真实服务器环境实现DR模型

可以看到外网映射是成功的，记得关闭tomcat服务

1.DR和VIP配置

清空防火墙设置(避免和lvs控制器冲突)：
# iptables -t filter -F

安装ipvsadm管理工具
# yum install -y ipvsadm

机器为dell r720的服务器，有4块网卡，此处我们使用其中的EM1和EM2两块网卡

DR:

DIP:192.168.8.70

DEVICE=em1
IPADDR=192.168.8.70
BORADCAST=192.168.8.255
GATEWAY=192.168.8.254
NETMAST=255.255.255.0

VIP:192.168.8.68

DEVICE=em2
IPADDR=192.168.8.68
BROADCAST=192.168.8.255
GATEWAY=192.168.8.254
NETMASK=255.255.255.0

开启路由转发功能
# vim /etc/sysctl.conf
配置 net.ipv4.ip_forward = 1
# sysctl -p

将访问192.168.8.68的路由转发至EM1
# route add -host 192.168.8.68 dev em2

清空规则
# ipvsadm -C

2.rs配置

rs1和rs2都安装apache服务，分别当做web1和web2

# yum install -y httpd
# cd /etc/httpd/conf.d/
删除默认页面
# rm welcome.conf -f
# vim /var/www/html/index.html
<h1>meb2 192m168.8.102</h1>

修改默认apache访问端口为8888
默认yum方式安装apache配置文件的位置# vim /etc/httpd/conf/httpd.conf

# vim /etc/httpd/httpd.conf

Listen 8888

重启使配置生效
# service httpd restart

rs1
192.168.8.101
# cd /etc/sysconfig/network-scripts/
# vim ifcfg-eth0

IPADDR=192.168.8.101
NETWORK=192.168.8.0
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
BROADCAST=192.168.8.255

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# cd /etc/sysconfig/network-scripts/

# cp ifcfg-lo ifcfg-lo:0

# vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.8.68
NETMASK=255.255.255.255
BROADCAST=192.168.8.68
ONBOOT=yes
NAME=loopback

# service network restart
将访问192.168.8.68的数据转发到lo:0回环口上
# route add -host 192.168.8.68 dev lo:0

并验证配置是否生效

rs2
192.168.8.102
# cd /etc/sysconfig/network-scripts/
# vim ifcfg-eth0
IPADDR=192.168.8.101
NETWORK=192.168.8.0
NETMASK=255.255.255.0
GATEWAY=192.168.8.254
BROADCAST=192.168.8.255

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# cp ifcfg-lo ifcfg-lo:0

# vim ifcfg-lo:0

DEVICE=lo:0
IPADDR=192.168.8.68
NETMASK=255.255.255.255
BROADCAST=192.168.8.68
ONBOOT=yes
NAME=loopback

# service network restart

# route add -host 192.168.8.68 dev lo:0

3.对dr进行配置

# ipvsadm -A -t 192.168.8.68:8888 -s rr
# ipvsadm -a -t 192.168.8.68:8888 -r 192.168.8.101 -g
# ipvsadm -a -t 192.168.8.68:8888 -r 192.168.8.102 -g

# ipvsadm -L -n