Keepalived+LVS DR模式高可用架构实践
Keepalived最初是为LVS设计,专门监控各服务器节点的状态(LVS不带健康检查功能,所以使用keepalived进行健康检查),后来加入了VRRP(虚拟路由热备协议(Virtual Router Redundancy Protocol)功能,防止单点故障,实现了调度节点的高可用。
Keepalived检测每个服务器节点状态,服务器节点异常或工作出现故障,Keepalived将故障点从集群系统中剔除。当故障点恢复后,Keepalived再将其加入到集群系统中。
Keepalived 亮点:
一、可实现VRRP虚拟路由深度解决代理服务器故障自动切换。
二、可以自动配置LVS完美整合Keepalived+lvs功能。
三、Keepalived解决了lvs不带健康检查功能,可实现自动剔除集群故障机器,恢复自动添加。
实践环境准备:
后端web1:192.168.4.100/24 vip:192.168.4.15
后端web2:192.168.4.200/24 vip:192.168.4.15
keepalived:
lvs:192.168.4.5 vip:192.168.4.15
lvs:192.168.4.6 vip:192.168.4.15
重要要领:
1.因为是结合LVS的DR调度模式所以必须要设定后端服务器伪装IP,设置内核参数禁止申告和回应本地回环lo的arp请求,请参考上一篇博客操作:LVS DR模式实践 但是需要这里是使用keepalived+lvs
在两台lvs服务器上安装keepalived 和 ipvsadm 并设置自动开机启动,并清空已有的lvs规则。
yum install -y keepalived ipvsadm && systemctl enable keepalived && ipvsadm -C
编辑keepalived配置文件
! Configuration File for keepalived
global_defs { //全局配置
notification_email {
qinghualai@foxmail.com //故障报警接收人邮箱
}
notification_email_from qinghualai@keepalived.com //需要先配置postfix
smtp_server 192.168.4.20 //smtp服务器
smtp_connect_timeout 30 //smtp连接超时时间设定
router_id keepalived5 //路由ID,必须为唯一
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 { //vrrp配置
state MASTER //主服务器设置为MASTER(备用服务器为BACKUP)
interface eth0 //定义网卡接口名
virtual_router_id 161 //虚拟路由器ID,主备必须要一致,默认51为了安全修改成其他的id号
priority 100 //服务器优先级,优先级越高则优先获取VIP
advert_int 1
authentication { //虚拟路由认证
auth_type PASS //使用密码
auth_pass 999520 //修改默认密码主备必须一致才能认证成功。
}
virtual_ipaddress { //VIP配置地址
192.168.4.15/24
}
}
virtual_server 192.168.4.15 80 { //LVS虚拟服务器规则配置
delay_loop 6
lb_algo wlc //LVS调度算法 这里使用的wlc,加权最小连接算法
lb_kind DR //LVS调度模式,有NAT和DR默认是NAT
# persistence_timeout 50 //持续时间50s 一般情况这种情况把这句去掉,客户端在一定时间内始终访问相同服务器
protocol TCP //协议类型TCP协议
real_server 192.168.4.100 80 {
weight 1 //服务器权重值,权重值越大访问量越大。
HTTP_GET { //健康检查默认支持TCP_CHECK{} HTTP_GET{} SSL_GET{} 和自定义脚本检查
url { //检测的页面支持多个url检查
path /index.html //检测的url值
digest 66ee606d5019d75f83836eeb295c6b6f //校验的md5值
}
connect_timeout 3 //连接超时时间,健康检查判断时间
nb_get_retry 3 //重试次数
delay_before_retry 3 //每隔多少秒做一次健康检查
}
real_server 192.168.4.200 80 {
weight 2
HTTP_GET {
url {
path /index.html
digest 699d00db64614eb287931b977d5c047f
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
配置好主从节点后重启服务
systemctl restart keepalived
然后记得一定要清空iptables
iptables -F
重要要领:
1.服务器健康检查中TCP_CHECK{}和SSL_GET{}仅检查端口,HTTP_GET{}不仅检查端口还通过校验码去校验多个网页的md5值,查看是否网页遭受到篡改。
测试结果:
故障排错:
1.ping不通虚拟路由ip 在keepalived master节点上看虚拟路由ip是否绑定在了设定的网卡接口上,如果有那么请使用iptables -F清空规则试试。
2.停掉keepalived master如果没有自动切换到backup节点上,先看服务状态和日志进行排查多半是配置文件问题,虚拟路由ID 主从是否一致? 网络中是否还有其他vrrp协议ID和这边使用的一致? 内核是否打开包转发? 是否后端设定了vip? 后端设定了vip是否有将广播设定不宣告不回应?