keepalived部署nginx高可用

一、keepalived高可用概述

1、什么是高可用

一般是指2台机器启动着完全相同的业务系统，当有一台机器down机了，另外一台服务器就能快速的接管，对于访问的用户是无感知的。

2、高可用常用的软件

硬件通常使用的是F5
软件通常使用keepalived

二、keepalived是如何实现高可用的

keepalived软件是基于VRRP协议实现的，VRRP是虚拟路由冗余协议，主要用于解决单点故障问题。
那么如果该负载均衡故障了，网关无法转发报文了，此时所有人都无法上网了，怎么办？

通常的做法是给路由器增加一个备份点，但是问题是，如果我们的主网关master故障了，用户是需要手动指向backup的，如果用户过多修改起来会非常麻烦 。
问题一：假设用户将指向都改为backup路由器那么master路由器修好了怎么办？
问题二：假设master网关故障，我们将backup网关配置位master网关的ip是否可以？

其实是不行的，因为PC第一次通过ARP广播找到master网观点额Mac地址与ip地址后 ，会将信息写到ARP的缓存表中，呢么PC之后连接都是通过那么缓存表的信息去连接，然后进行数据包的转发，即使我们修改了ip但是Mac的地址是唯一的，PC的数据包依然会发送给master。（除非是通过那个缓存表过期，在次发起ARP广播的时候才能获得新的backup对应的Mac地址与ip地址）

 

 如何才能做到出现故障自动转移，此时VRRP就出现了，我们的VRRP其实就是通过软件或者硬件的形式在master和backup外面增加一个虚拟的Mac地址（VMAC）与虚拟ip地址（VIP），那么在这种情况下，PC请求VIP的时候，无论是master处理还是backup处理pc紧会在ARP缓存表中记录VMAC与VIP的信息。

 

 

a.如果确定谁是主节点谁是备节点（选举投片 优先级）
b.如果master故障，backup自动接管，那么master回复后会夺权吗（抢占式 非抢占式）
c.如果俩台服务器都认为自己是是master会出现什么问题（脑裂）

四、keepalived配置实战

1、环境准备

主机	IP	身份
nginx01	10.0.0.4	master
nginx02	10.0.0.5	backup

2.在负载均衡master和backup上分别安装keeplived

[root@nginx01 ~]# yum install -y keepalived
[root@nginx02 ~]# yum install -y keepalived

3、配置master

[root@nginx01 ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   router_id nginx01
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.0.3
    }
}

　　

4、配置backup　

[root@nginx02 ~]# cat /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   router_id nginx02
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.0.3
    }
}

　　

5.对比master和backup的keeplived配置的区别

Keepalived配置区别	Master节点配置	Backup节点配置
route_id（唯一标识）	router_id lb01	router_id lb02
state（角色状态）	state MASTER	state BACKUP
priority(竞选优先级)	priority 150	priority 100

 

6.启动master和backup节点的keepalived

[root@nginx01 ~]# systemctl start keepalived
[root@nginx02 ~]# systemctl start keepalived

 

7、配置keepalived日志

一、修改 /etc/sysconfig/keepalived
把KEEPALIVED_OPTIONS="-D" 修改为KEEPALIVED_OPTIONS="-D -d -S 0"
# -D  Detailed log messages
# -d  Dump the configuration data
# -S  Set syslog facility to LOG_LOCAL[0-7]
# 0  
#其中-S指定syslog的facility
二、重启服务
systemctl restart keepalived
三、设置syslog，修改/etc/rsyslog.conf，添加内容如下
# keepalived -S 0
local0.* /var/log/keepalived.log
注意：local0 是l是字符L的小写

重启syslog服务，
systemctl restart rsyslog
再重启keepalived之后，日志就转存在了/var/log/keepalived.log

五、高可用keepalived抢占式和非抢占式

　1、keepalived抢占式

      1）两个节点都启动的时，由于节点1的优先级高于节点2，所以VIP在节点1上面　

[root@nginx01 ~]# ip a |grep 10.0.0.3
    inet 10.0.0.3/32 scope global eth0

　　2）关闭节点1的keepalived

[root@nginx01 ~]# systemctl stop keepalived.service

　　3）节点2联系不上节点1，主动接管VIP

[root@nginx02 ~]# ip a |grep 10.0.0.3
    inet 10.0.0.3/32 scope global eth0

　　4）此时重新启动master的keepalived，会发现VIP被强行抢占

[root@nginx01 ~]# systemctl start keepalived.service 
[root@nginx01 ~]# ip a |grep 10.0.0.3
    inet 10.0.0.3/32 scope global eth0

　

   2.keepalived非抢占式

a、两个节点的state都必须配置为BACKUP

b、两个节点都必须加上配置 nopreempt

c、其中一个节点的优先级必须要高于另外一个节点的优先级。两台服务器都角色状态启用nopreempt后，必须修改角色状态统一为BACKUP，唯一的区分就是优先级。

   Master配置：

    vrrp_instance VI_1 {
        state BACKUP
        priority 150
        nopreempt
    }

　Backup配置：

    vrrp_instance VI_1 {
        state BACKUP
        priority 100
        nopreempt
    }

　　

六、高可用keeplived故障脑裂

由于某些原因，导致keepalived高可用服务器在指定时间内，无法检测到对方的心跳，各自取得资源以及服务的所有权，而此时的俩台高可用的服务器有都可以还活着

1.脑裂故障的原因

a.服务器网线松动等网络故障
b.服务器硬件故障发生损坏现象而崩溃
c,主备都开启firewalld防火墙

2.脑裂故障现象

#将节点1和节点2的防火墙都打开

3.解决脑裂故障的方案

#干掉一台服务
[root@lb02 ~]# systemctl stop keepalived

#判断是否有脑裂现象
先做信任，免密登录
[root@lb01 ~]# vim check_naolie.sh
#!/bin/sh
vip=10.0.0.3
lb02_ip=10.0.0.5
while true;do
    ssh $lb02_ip 'ip addr | grep 10.0.0.3' &>/dev/null
    if [ $? -eq 0 -a `ip add|grep "$vip"|wc -l` -eq 1 ];then
        echo "ha is split brain.warning."
    else
        echo "ha is ok"
    fi
sleep 5
done

　　

七、高可用keepalived与nginx

1.为什么域名解析到VIP就可以访问到nginx

nginx默认监听所有的ip地址上，VIP会飘到一台节点上，相当于那台nginx多了VIP这么一网卡，所以可以访问到nginx所在机器。
如果nginx宕机，会导致用户请求失败，但是keepalived没有挂掉不会进行切换，所以需要编写一个脚本检测nginx的存活状态，如果不存活则kill掉keepalived

2、编写脚本

[root@nginx01 ~]# mkdir /service/scripts -p
[root@nginx01 /service/scripts]# cat check_web.sh 
#!/bin/bash
nginxpid=$(ps -C nginx --no-header|wc -l)

#1、判断nginx是否存活，如果不存活则尝试启动nginx
if [ $nginxpid -eq 0 ];then
	systemctl start nginx
	sleep 3
	#2、等待3秒后再次获取一次nginx状态
	nginxpid=$(ps -C nginx --no-header|wc -l)
	if [ $nginxpid -eq 0 ];then
	    systemctl stop keepalived
	fi
fi

3、给脚本添加执行权限

[root@nginx01 /service/scripts]# chmod +x check_web.sh 
[root@nginx01 /service/scripts]# ll
total 4
-rwxr-xr-x 1 root root 341 May 30 16:56 check_web.sh

4.在nginx01主机的keepalived配置文件中调用此脚本

 

[root@nginx01 ~]# cat /etc/keepalived/keepalived.conf 
global_defs {
   router_id nginx01
}
vrrp_script check_web {
    script "/service/scripts/check_web.sh"
    interval 5
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.0.3
    }
    #调用并运行脚本
    track_script { 
        check_web
  }
}

在Master的keepalived中调用脚本，抢占式，仅需在master配置即可。（注意，如果配置为非抢占式，那么需要两台服务器都使用该脚本）