nginx+keepalived高可用配置笔记

一、nginx安装

略

二、keepalived安装

2.1 解压

tar -zxvf keepalived-2.2.2.tar.gz

mv keepalived-2.2.2 /opt/

2.2 编译安装

# 设置安装目录
./configure --prefix=/usr/local/keepalived

# 编译
make

# 安装
make install

2.3 拷贝配置文件，重要

安装完成后，进入安装目录的etc目录下，将keepalived相应的配置文件拷贝到系统相应的目录当中。keepalived启动时会从/etc/keepalived目录下查找keepalived.conf配置文件。

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived

三、keepalived配置

3.1 killall指令安装包

在配置nginx检查脚本用得到。

yum install -y psmisc

注意：killall指令中 -0 是用来发送测试信号的，不会杀死进程。 -9是强制杀死进程，慎用。

3.2 keepalived主要配置

主要配置位于/etc/keepalived/keepalived.conf文件。

主节点：如果需要主节点恢复后VIP漂移回来，需要state MASTER。

如果不需要抢占，则可以都设置为BACKUP节点，一旦故障转移，就按权重选取MASTER，初始时，先启动的为主节点。

# 全局配置
global_defs {
    notification_email {
        124143222@qq.com  #设置报警收件人邮件地址，可以设置多个，每行一个。需要开启sendmail服务。
    }
    notification_email_from 124143222@qq.com #发件人
    smtp_server smtp.qq.com   #设置SMTP Server地址
    smtp_connection_timeout 30   #设置SMTP Server的超时时间
    router_id nginx_master       #表示运行Keepalived服务器的一个标识，唯一的
}
#检测脚本
vrrp_script chk_http_port {
#    script "killall -0 nginx" # 这个脚本只做信号检查，功能弱了一些，一般都自定义脚本
    script "/usr/local/keepalived/sbin/check_nginx.sh" #心跳执行的脚本，检测nginx是否启动
    interval 2                          #（检测脚本执行的间隔，单位是秒）
    weight -2                            #权重
}
#vrrp 实例定义部分
vrrp_instance VI_1 {
    state BACKUP            # 指定keepalived的角色，MASTER为主，BACKUP为备 说明：可以都设置为BACKUP,先启动为主，然后nopreempt才能有效
    interface ens33         # 当前进行vrrp通讯的网络接口卡(当前centos的网卡) 用ifconfig查看你具体的网卡
    virtual_router_id 66    # 虚拟路由编号，主从要一致
    priority 100            # 优先级，数值越大，获取处理请求的优先级越高
    advert_int 1            # 检查间隔，默认为1s(vrrp组播周期秒数)
    nopreempt               # 设置为不抢占，说明：这个配置只能在BACKUP主机上面设置 
    #授权访问
    authentication {
        auth_type PASS #设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信
        auth_pass 1111
    }
    track_script {
        chk_http_port            #（调用检测脚本）
    }
    virtual_ipaddress {
        192.168.44.100            # 定义虚拟ip(VIP)，可多设，每行一个
    }
}

从节点：只需重设部分参数

router_id nginx_backup01
state BACKUP # 如果是多主情况，这里都是BACKUP
priority 99  # 多个从节点，优先级依次降低

例：

# 全局配置
global_defs {
    notification_email {
        124143222@qq.com  #设置报警邮件地址，可以设置多个，每行一个。需要开启sendmail服务。
    }
    notification_email_from 124143222@qq.com
    smtp_server smtp.qq.com   #设置SMTP Server地址
    smtp_connection_timeout 30   #设置SMTP Server的超时时间
    router_id nginx_backup01       #表示运行Keepalived服务器的一个标识，唯一的
}
#检测脚本
vrrp_script chk_http_port {
#    script "killall -0 nginx"
    script "/usr/local/keepalived/sbin/check_nginx.sh" #心跳执行的脚本，检测nginx是否启动
    interval 2                          #（检测脚本执行的间隔，单位是秒）
    weight -2                            #权重
}
#vrrp 实例定义部分
vrrp_instance VI_1 {
    state BACKUP            # 指定keepalived的角色，MASTER为主，BACKUP为备
    interface ens33         # 当前进行vrrp通讯的网络接口卡(当前centos的网卡) 用ifconfig查看你具体的网卡
    virtual_router_id 66    # 虚拟路由编号，主从要一直
    priority 99            # 优先级，数值越大，获取处理请求的优先级越高
    advert_int 1            # 检查间隔，默认为1s(vrrp组播周期秒数)
    nopreempt               # 非抢占式  
    #授权访问
    authentication {
        auth_type PASS #设置验证类型和密码，MASTER和BACKUP必须使用相同的密码才能正常通信
        auth_pass 1111
    }
    track_script {
        chk_http_port            #（调用检测脚本）
    }
    virtual_ipaddress {
        192.168.44.100            # 定义虚拟ip(VIP)，可多设，每行一个
    }
}

3.3 检测脚本

check_nginx.sh脚本根据生产环境要求调整，重要的是要返回结果值，正常为0，错误为1

#!/bin/bash
# 检测nginx是否启动
A=`ps -C nginx --no-header |wc -l`
result=0
if [ $A -eq 0 ];then    #如果nginx没有启动就启动nginx                        
      /usr/local/nginx/sbin/nginx                #重启nginx
      sleep 2
      A=`ps -C nginx --no-header |wc -l`
      if [ $A -eq 0 ];then    #nginx重启失败，则停掉keepalived服务，进行VIP转移
            killall keepalived
            result=1
      fi
fi
# keepalived根据返回值增减权重
exit $result

3.4 添加防火墙规则

因为vrrp使用224.0.0.18这个组播地址，所以必须添加组播规则或者关闭防火墙，否则会出现脑裂现象。

添加：

firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --out-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
firewall-cmd --reload

查看：

firewall-cmd --direct --get-all-rules

ipv4 filter OUTPUT 0 --out-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT

3.5 启动keepalived

启动Keepalived并添加到开机自启

systemctl start keepalived

systemctl enable keepalived

3.6 检查vip漂移情况

使用killall keepalived杀掉进程后，可以观察到vip会根据权重依次漂移。

ip ad

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:01:83:24 brd ff:ff:ff:ff:ff:ff
    inet 192.168.44.10/24 brd 192.168.44.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.44.100/32 scope global ens33
       valid_lft forever preferred_lft forever

四、keepalived高可用原理

keepalived本质与nginx无关系，keepalived只是通过组播实现自身的故障转移和VIP漂移，它提供了脚本检测接口，通过脚本，我们可以把需要检测服务用脚本管理起来，实现服务的故障检查、转移、恢复等功能。