WEB服务-Nginx之十-keepalived
WEB服务-Nginx之10-keepalived
Keepalived和高可用 基本概述
高可用一般是指2台机器启动着完全相同的业务系统，当有一台机器down机了，另外一台服务器就能快速的接管，对于访问的用户是无感知的。
高可用实现
- 硬件通常使用 F5
- 软件通常使用 keepalived
keepalived软件基于VRRP协议实现高可用（VRRP虚拟路由冗余协议，主要用于解决单点故障问题）
VRRP诞生及原理
比如公司的网络是通过网关进行上网的，那么如果该路由器故障了，网关无法转发报文了，此时所有人都无法上网了，怎么办？
通常做法是给路由器增加一台备用，但是问题是，如果我们的主网关master故障了，用户是需要手动指向backup的，如果用户过多修改起来会非常麻烦。
问题一：假设用户将指向都修改为backup路由器，那么master路由器修好了怎么办？
问题二：假设Master网关故障，我们将backup网关配置为master网关的ip是否可以？
其实是不行的，因为PC第一次通过ARP广播寻找到Master网关的MAC地址与IP地址后，会将信息写到ARP的缓存表中，那么PC之后连接都是通过那个缓存表的信息去连接，然后进行数据包的转发，即使我们修改了IP但是Mac地址是没有变化，pc的数据包依然会发送给master。（除非是PC的ARP缓存表过期，再次发起ARP广播的时候才能获取新的backup对应的Mac地址与IP地址）
为了做到出现故障自动转移，开发了VRRP。VRRP其实是通过软件或者硬件的形式在Master和Backup外面增加一个虚拟的MAC地址（VMAC）与虚拟IP地址（VIP），让PC请求VIP，那么无论是Master处理还是Backup处理，PC仅会在ARP缓存表中记录VMAC与VIP的信息。
高可用keepalived使用场景
通常业务系统需要保证7×24小时不DOWN机，比如公司内部的OA系统，每天公司人员都需要使用，则不允许Down机，作为业务系统来说要随时都可用。
高可用keepalived核心概念
- 如何确定谁是主节点谁是背节点?（选举投票，优先级）
- 当Master出现故障时，Backup自动接管，那么Master回复后会夺权吗?（抢占试、非抢占式）
- 如果两台服务器都认为自己是Master会出现什么问题?（脑裂）
Keepalived安装配置
环境准备
| 作用 | IP | 角色 |
|---|---|---|
| node1 | 10.0.0.5 | Master |
| node2 | 10.0.0.6 | Backup |
| VIP | 10.0.0.3 |
安装keepalived
[root@lb01 ~]# yum install -y keepalived
[root@lb02 ~]# yum install -y keepalived
查找配置文件
[root@lb01 ~]# rpm -qc keepalived
/etc/keepalived/keepalived.conf
/etc/sysconfig/keepalived
配置master
[root@lb01 ~]# cat > /etc/keepalived/keepalived.conf <<EOF
global_defs { # 全局配置
router_id lb01 # 标识身份->名称
}
vrrp_instance VI_1 {
state MASTER # 标识角色状态
interface eth0 # 网卡绑定接口
virtual_router_id 50 # 虚拟路由id
priority 150 # 优先级
advert_int 1 # 监测间隔时间
authentication { # 认证
auth_type PASS # 认证方式
auth_pass 1111 # 认证密码
}
virtual_ipaddress {
10.0.0.3 # VIP地址
}
}
EOF
配置backup
[root@lb02 ~]# cat > /etc/keepalived/keepalived.conf <<EOF
global_defs {
router_id lb02
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 50
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.0.0.3
}
}
EOF
对比master与Backup区别
| Keepalived配置区别 | Master节点配置 | Backup节点配置 |
|---|---|---|
| route_id（唯一标识） | router_id lb01 | router_id lb02 |
| state（角色状态） | state MASTER | state BACKUP |
| priority（竞选优先级） | priority 150 | priority 100 |
启动Master和Backup节点的keepalived并加入开机启动
# Master节点
[root@lb01 ~]# systemctl start keepalived
[root@lb01 ~]# systemctl enable keepalived
# Backup节点
[root@lb02 ~]# systemctl start keepalived
[root@lb02 ~]# systemctl enable keepalived
Keepalived抢占式与非抢占式
启动两个节点
# 由于节点1的优先级高于节点2，所以VIP在节点1上
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
关闭节点1的keepalived
[root@lb01 ~]# systemctl stop keepalived
# 节点2联系不上节点1，主动接管VIP
[root@lb02 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
此时重新启动Master上的keepalived，会发现VIP被Master强行抢占
[root@lb01 ~]# systemctl start keepalived
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
配置非抢占式要求
- 两个节点的state都必须配置为BACKUP
- 两个节点都必须加上配置 nopreempt
- 其中一个节点的优先级必须要高于另外一个节点的优先级。
两台服务器都角色状态启用nopreempt后，必须修改角色状态统一为BACKUP，唯一的区分就是优先级。
Master配置
[root@lb01 ~]# cat > /etc/keepalived/keepalived.conf <<EOF
global_defs {
router_id lb01
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 50
priority 150
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.0.0.3
}
}
EOF
Backup配置
[root@lb02 ~]# cat > /etc/keepalived/keepalived.conf <<EOF
global_defs {
router_id lb02
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 50
priority 100
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.0.0.3
}
}
EOF
通过windows的arp去验证，是否会切换MAC地址
# 查看VIP在节点1上面
[root@lb01 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
# windows查看Mac地址
C:\Users\Administrator> arp -a
# 将节点1的keepalived停掉
[root@lb01 ~]# systemctl stop keepalived
# 节点2接管VIP
[root@lb02 ~]# ip addr | grep 10.0.0.3
inet 10.0.0.3/32 scope global eth0
# 再次查看mac地址
C:\Users\Administrator> arp -a
Keepalived故障脑裂
由于某些原因，导致两台keepalived高可用服务器在指定时间内，无法检测到对方的心跳，而此时的两台高可用keepalived服务器又都还活着，就会导致脑裂。
脑裂（split-brain）：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。
对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。
脑裂故障原因
1、服务器网线松动等网络故障
2、服务器硬件故障发生损坏现象而崩溃
3、主备都开启firewalld防火墙
脑裂故障现象
将节点1和节点2的防火墙都打开
[root@lb01 ~]# systemctl start firewalld
[root@lb02 ~]# systemctl start firewalld
Wireshark抓包查看
脑裂故障解决方案
如果发生脑裂，随机kill掉一台即可解决
推荐在BACKUP上编写检测脚本，测试如果能ping通主节点，并且备节点还有VIP，则认为产生了脑裂
[root@lb02 ~]# cat check_split_brain.sh
#!/bin/sh
vip=10.0.0.3
lb01_ip=10.0.0.5
while true;do
ping -c 2 $lb01_ip &>/dev/null
if [ $? -eq 0 -a `ip add|grep "$vip"|wc -l` -eq 1 ];then
echo "ha is split brain.warning."
else
echo "ha is ok"
fi
sleep 5
done
Keepalived与nginx
为什么域名解析到VIP就可以访问nginx？
Nginx默认监听在所有的IP地址上，VIP所在节点相当于多了VIP这么一个IP，所以可以访问到nginx所在机器。
但是.....如果nginx宕机，会导致用户请求失败，但是keepalived没有挂掉不会进行切换，所以需要编写一个脚本检测Nginx的存活状态，如果不存活则kill掉keepalived。
[root@lb01 ~]#cd /server/scripts/
[root@lb01 scripts]# vim check_web.sh
#!/bin/sh
nginxpid=$(ps -C nginx --no-header|wc -l)
# 1.判断Nginx是否存活,如果不存活则尝试启动Nginx
if [ $nginxpid -eq 0 ];then
systemctl start nginx
sleep 3
# 2.等待3秒后再次获取Nginx状态
nginxpid=$(ps -C nginx --no-header|wc -l)
# 3.再次进行判断, 如Nginx还不存活则停止Keepalived,让地址进行漂移,并退出脚本
if [ $nginxpid -eq 0 ];then
systemctl stop keepalived
fi
fi
# 给脚本增加执行权限
[root@lb01 scripts]# chmod +x /server/scripts/check_web.sh
keepalived配置文件中可以直接调用此脚本
[root@lb01 ~]# cat > /etc/keepalived/keepalived.conf <<EOF
global_defs {
router_id lb01
}
#每5秒执行一次脚本，脚本执行内容不能超过5秒，否则会中断再次重新执行脚本
vrrp_script check_web {
script "/server/scripts/check_web.sh"
interval 5
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 50
priority 150
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.0.0.3
}
# 调用并运行脚本
track_script {
check_web
}
}
EOF
注意：
- 抢占式，仅需在Master的keepalived中调用脚本。
- 非抢占式，需要两台服务器都使用该脚本。
