LVS-DR模式 + keeplived

一  LVS-DR模式

二  LVS-DR中的ARP问题

三  LVS-DR 特性

四  Keepalived

五 LVS-DR-Keepalived配置实验

 

一  LVS-DR模式

Director Server作为群集的访问入口，但不作为网关使用，后端服务器池中的Real Server与Director Server在同一个物理网络中，发送给客户机的数据包不需要经过Director Server。为了响应对整个群集的访问，DS与RS都需要配置有VIP地址。

每个Real Server上都有两个IP：VIP和RIP，但是VIP是隐藏的，就是不能提供解析等功能，只是用来做请求回复的源IP的，Director上只需要一个网卡，然后利用别名来配置两个IP：VIP和DIP，在DIR接收到客户端的请求后，DIR根据负载算法选择一台rs sever的网卡mac作为客户端请求包中的目标mac，通过arp转交给后端RS serve处理，后端再通过自己的路由网关回复给客户端。

数据包流向分析：

用户发送请求到Director Server,请求的数据报文（源IP是CIP,目标IP是VIP）到达内核空间。

由于DS和RS在同一个网络中，所以是通过二层数据链路层来传输。

内核空间判断数据包的目标IP是本机IP，此时IPVS比对数据包请求的服务是否为集群服务，若是，重新封装数据包，修改源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址，源IP地址与目标IP地址没有改变，然后将数据包发送给Real Server.

RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文，重新封装报文(源IP地址为VIP，目标IP为CIP),将响应报文通过lo接口传送给eth0网卡然后向外发出。

RS直接将响应报文传送到客户端。

 

 

二  LVS-DR中的ARP问题

 

1、在LVS-DR负载均衡集群中，负载均衡与节点服务器都要配置相同的VIP地址。

 

2、在局域网中具有相同的IP地址，势必会造成各服务器ARP通信的紊乱。

 

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同网络上，它们都会接收到ARP广播。

 

只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

 

3、对节点服务器进行处理，使其不响应针对VIP的ARP请求。

 

使用虚接口lo:0承载VIP地址

 

设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的ARP请求

 

4、RealServer返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取

 

路由器的MAC地址。

 

5、发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址

 

如：ens33

 

6、路由器收到ARP请求后，将更新ARP表项

 

7、原有的VIP对应Director的MAC地址会被更新为VIP对应RealServer的MAC地址

 

8、路由器根据ARP表项，会将新来的请求报文转发给RealServer，导致Director的VIP失效

 

 

 

解决方法：

 

对节点服务器进行处理，设置内核参数arp_announce=2：系统不使用IP包的源地址来设置

 

ARP请求的源地址，而选择发送接口的IP地址。

 

 

 

解决ARP的两个问题的设置方法

 

修改 /etc/sysctl.conf 文件

 

net.ipv4.conf.lo.arp_ignore=1

 

net.ipv4.conf.lo.arp_announce=2

 

net.ipv4.conf.all.arp_ignore=1

 

net.ipv4.conf.all.arp_announce=2

 

三  LVS-DR 特性

DR模式的特点

① Director Server 和Real Server 必须在同一-个物理网络中。

② Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。

③ Director Server作为群集的访问入口，但不作为网关使用。

④ 所有的请求报文经由Director Server， 但回复响应报文不能经过Director Server。

⑤ Real Server 的网关不允许指向Director Server IP，即 Real Server 发送的数据包不允许经过Director Server。

⑥ Real Server 上的 lo 接口配置 VIP的IP地址。

 

LVS-DR模式需要注意的是：

保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS。

解决方案是：修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

arp_ignore=1表示系统只响应目的IP为本地IP的ARP请求。

arp_announce=2表示系统不使用IP包的源地址来设置ARP请求的源地址，而选择发送接口的IP地址。

 

优点：

负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为 超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-DR方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个 Virtual Server能达到1G的吞吐量。甚至更高；

 

不足：

这种方式需要所有的DIR和RIP都在同一广播域；不支持异地容灾。

 

总结：

LVS-DR是三种模式中性能最高的一种模式，比LVS-NAT模式下负载的RS serve更多，通常在100台左右，对网络环境要求更高，也是日常应用的最多的一种工作模式。

 

 

四  Keepalived

 

1、Keepalived

 

支持故障自动切换（Failover）

 

支持节点健康状态检查（Health Checking）

 

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点（优先级）。

 

 

 

2、Keepalived实现原理剖析

 

keepalived采用VRRP热备份协议实现Linux 服务器的多机热备功能

 

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。

 

由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务

 

每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

 

若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

 

 

 

snmp 通过网络管理服务器、交换机、路由器等设备的一种协议

 

在keepalived SNMP管理的是健康检查(状态)

 

PS: 在监控中也会通过snmp 监控、获取被监控服务器的数据

 

 

五 LVS-DR-Keepalived配置实验

 

1、环境准备

 

服务器                 IP地址配置              需要的工具

 

主负载调度器（Director1） ens33：192.168.10.24    ipvsadm、keepalived（热备）

 

                        ens33:0  192.168.10.100

 

备负载调度器（Director2） ens33：192.168.10.17 ipvsadm、keepalived

 

                        ens33:0  192.168.10.100

 

web服务器1 ens33 192.168.10.20

 

    lo:0 (VIP)： 192.168.10.100     httpd

 

web服务器2 ens33 192.168.10.21

 

   lo:0 (VIP)： 192.168.10.100     httpd

 

centos客户端 宿主机web浏览器

 

 

1，主备负载均衡器关闭防火墙和增强，ipvsadm、keepalived工具下载

 

 

[root@localhost ~]# yum install -y ipvsadm keepalived

 

modprobe ip_vs     #加载ip_vs模块

 

cat /proc/net/ip_vs  #查看ip_vs版本信息

 

 

1，主备负载均衡器修改网卡信息，修改内核参数

  主负载均衡器

 

 

 

 

调整proc响应参数

由于LVS负载均衡器和各节点需要共用vip地址，应该关闭linux内核的重定向响应参数，不充当路由器（转发、重定向）

vim /etc/sysctl.conf

net.ipv4.ip_forward = 0

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

sysctl -p  

 

 

3  配置负载分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm

 

vim /opt/dr.sh

#!/bin/bash

ipvsadm -C

ipvsadm -A -t 192.168.10.100:80 -s rr      

这里指定的虚拟IP为ens33网卡ip，启动keepliaved后会自动绑定虚拟网卡

ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.20:80 -g

ipvsadm -a -t 192.168.10.100:80 -r 192.168.10.21:80 -g

ipvsadm

ipvsadm -Ln

 

 

4  web站点服务器配置

 关闭防火墙和增强

 

配置虚拟IP地址

 

此地址仅用做发送Web响应数据包的源地址，并不需要监听客户机的访问请求（改由调度器监听并分发），因此使用虚接口 lo:0 来承载VIP地址，并为本机添加一条路由记录，将访问VIP的数据限制在本地，以避免通信紊乱。

 

 

 

cd /etc/sysconfig/network-scripts/

 

cp -p ifcfg-lo ifcfg-lo:0

 

vim ifcfg-lo:0

 

DEVICE=lo:0

 

ONBOOT=yes

 

IPADDR=192.168.10.100

 

NETMASK=255.255.255.255

 

 

 

ifup lo:0

 

ifconfig lo:0

 

 

 

route add -host 192.168.10.100 dev lo:0   #禁锢路由

 

route -n    #查看路由

 

或者

 

 

 

#配置启动管理执行路由禁锢

 

vim /etc/rc.local

 

/sbin/route add -host 192.168.10.100 dev lo:0

 

 

 

 

调整内核的ARP响应参数以阻止更新VIP的MAC地址，避免冲突

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1  

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

 

 

修改页面内容，并启动httpd服务

 

 

配置keepalived

 

 测试