keepalived+nginx高可用集群配置(centos)

1、简介

Keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能。主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能，负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs），而高可用是通过VRRP协议实现多台机器之间的故障转移服务。 

上图是Keepalived的功能体系结构，大致分两层：用户空间（user space）和内核空间（kernel space）。 
内核空间：主要包括IPVS（IP虚拟服务器，用于实现网络服务的负载均衡）和NETLINK（提供高级路由及其他相关的网络功能）两个部份。 
用户空间：

• WatchDog：负载监控checkers和VRRP进程的状况
• VRRP Stack：负载负载均衡器之间的失败切换FailOver，如果只用一个负载均衡器，则VRRP不是必须的。
• Checkers：负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。换言之，可以没有VRRP Stack，但健康检查healthchecking是一定要有的。
• IPVS wrapper：用户发送设定的规则到内核ipvs代码
• Netlink Reflector：用来设定vrrp的vip地址等。

Keepalived的所有功能是配置keepalived.conf文件来实现的。

2、如何安装

2.1安装keepalived

VRRP协议有1个master角色和至少1个backup角色，所以做本实验需要准备至少两台Linux机器。这里我们拿两台Linux虚拟机(161和162，其中161作为master，162作为backup)来完成以下操作。 在两台机器上执行如下操作:

yum install -y keepalived

2.2配置keepalived+nginx高可用

master: 192.168.200.161 安装keepalived+Nginx backup:192.168.200.162安装keepalived+Nginx VIP:192.168.200.100 VIP的英文名字是“Virtual IP”，即“虚拟IP”，也有人把它叫作“浮动IP”。因为这个IP是由keepalived给服务器配置上的，服务器靠这个VIP对外提供服务，当master机器宕机，VIP被分配到backup上，这样用户看来是无感知的。

master节点:

# vim /etc/keepalived/keepalived.conf      //内容如下
global_defs {         #全局配置标识，表明这个区域{}是全局配置
   notification_email {    
        xxx@qq.com   #表示发送通知邮件时邮件源地址是谁
   }
   notification_email_from root@aaaaa.com    #表示keepalived在发生诸如切换操作时需要发送email通知，以及email发送给哪些邮件地址，邮件地址可以多个，每行一个
   smtp_server 127.0.0.1      #表示发送email时使用的smtp服务器地址，这里可以用本地的sendmail来实现
   smtp_connect_timeout 30    #连接smtp连接超时时间
   router_id LVS_DEVEL      #机器标识
}

vrrp_script chk_nginx {    
    script "/usr/local/sbin/check_ng.sh"    #检查服务是否正常，通过写脚本实现，脚本检查服务健康状态
    interval 3    #检查时间间断是3秒
    }

vrrp_instance VI_1 {        #VRRP配置标识 VI_1是实例名称
    state MASTER        #定义master相关
    interface ens33    #通过vrrp协议去通信、去发广播。此为网卡名
    virtual_router_id 51   #定义路由器ID ，配置的时候和从机器一致    
    priority 100   #权重，主角色和从角色的权重是不同的，一般主比从大
    advert_int 1  #设定MASTER与BACKUP主机质检同步检查的时间间隔，单位为秒
    authentication {        #认证相关信息
        auth_type PASS      #认证类型
        auth_pass 5201314>g     #密码的形式是一个字符串
    }
    virtual_ipaddress {     #设置虚拟IP地址 (VIP),又叫做漂移IP地址
        192.168.200.100
    }
    track_script {       #加载脚本
        chk_nginx
    }
}

其中chk_nginx.sh脚本如下:

#!/bin/bash                                     
  #时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量  
  n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量    
  if [ $n -eq "0" ]; then      
         /etc/init.d/nginx start
          n2=`ps -C nginx --no-heading|wc -l`   
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
          if [ $n2 -eq "0"  ]; then
                  echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                  systemctl stop keepalived
          fi
 fi

backup节点:

global_defs {
   notification_email {
        131917381@qq.com
   }
   notification_email_from root@aaaaa.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
    }

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 5201314>g
    }
    virtual_ipaddress {
        192.168.200.100
    }
    track_script {
        chk_nginx
    }
}

脚本:

d=`date --date today +%Y%m%d_%H:%M:%S`
n=`ps -C nginx --no-heading|wc -l`
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

注:脚本都需要赋予相应权限

验证:1查看心跳卡是否正常:

进行验证:

 

 

 

 可以看到心跳卡位于master节点,和master节点网页显示内容相同.

验证2:关闭master节点nginx

 

 脚本检测正常.

验证3使用iptables模拟宕机:

 

 

验证4:关闭keepalived:

 

 

 

 成功

验证4:开启keepalived

 

 

 成功

3、keepalived.conf配置文件说明

keepalived服务安装完成之后，后面的主要工作就是在keepalived.conf文件中配置HA和负载均衡。一个功能比较完整的常用的keepalived配置文件，主要包含三块：全局定义块、VRRP实例定义块和虚拟服务器定义块。全局定义块是必须的，如果keepalived只用来做ha，虚拟服务器是可选的。下面是一个功能比较完整的配置文件模板：

#全局定义块
global_defs {
    # 邮件通知配置
    notification_email {
        email1
        email2
    }
    notification_email_from email
    smtp_server host
    smtp_connect_timeout num

    lvs_id string
    router_id string    ## 标识本节点的字条串,通常为hostname
}

#VRRP 实例定义块
vrrp_sync_group string { 
    group {
        string
        string
    }
}

vrrp_instance string {
    state MASTER|BACKUP
    virtual_router_id num
    interface string
    mcast_src_ip @IP 
    priority num
    advert_int num
    nopreempt
    smtp_alert
    lvs_sync_daemon_interface string 
    authentication {
        auth_type PASS|AH
        auth_pass string
    }

    virtual_ipaddress {  # Block limited to 20 IP addresses @IP
        @IP
        @IP
    }
}

#虚拟服务器定义块
virtual_server (@IP PORT)|(fwmark num) { 
    delay_loop num
    lb_algo rr|wrr|lc|wlc|sh|dh|lblc 
    lb_kind NAT|DR|TUN
    persistence_timeout num 
    protocol TCP|UDP
    real_server @IP PORT { 
        weight num
        notify_down /path/script.sh
        TCP_CHECK { 
            connect_port num 
            connect_timeout num
        }
    }

    real_server @IP PORT {
        weight num
        MISC_CHECK {
            misc_path /path_to_script/script.sh(or misc_path “/path_to_script/script.sh <arg_list>”)
        }
    }

    real_server @IP PORT {
        weight num
        HTTP_GET|SSL_GET {
            url { 
                # You can add multiple url block path alphanum
                digest alphanum
            }
            connect_port num
            connect_timeout num 
            nb_get_retry num 
            delay_before_retry num
        }
    }
} 

3.1、全局定义块

1、email通知（notification_email、smtp_server、smtp_connect_timeout）：用于服务有故障时发送邮件报警，可选项，不建议用。需要系统开启sendmail服务，建议用第三独立监控服务，如用nagios全面监控代替。 
2、lvs_id：lvs负载均衡器标识，在一个网络内，它的值应该是唯一的。 
3、router_id：用户标识本节点的名称，通常为hostname 
4、花括号｛｝：用来分隔定义块，必须成对出现。如果写漏了，keepalived运行时不会得到预期的结果。由于定义块存在嵌套关系，因此很容易遗漏结尾处的花括号，这点需要特别注意。

3.2、VRRP实例定义块

vrrp_sync_group：同步vrrp级，用于确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪

group：至少要包含一个vrrp实例，vrrp实例名称必须和vrrp_instance定义的一致

vrrp_instance：vrrp实例名 
1> state：实例状态，只有MASTER 和 BACKUP两种状态，并且需要全部大写。抢占模式下，其中MASTER为工作状态，BACKUP为备用状态。当MASTER所在的服务器失效时，BACKUP所在的服务会自动把它的状态由BACKUP切换到MASTER状态。当失效的MASTER所在的服务恢复时，BACKUP从MASTER恢复到BACKUP状态。 
2> interface：对外提供服务的网卡接口，即VIP绑定的网卡接口。如：eth0，eth1。当前主流的服务器都有2个或2个以上的接口（分别对应外网和内网），在选择网卡接口时，一定要核实清楚。 
3> mcast_src_ip：本机IP地址 
4> virtual_router_id：虚拟路由的ID号，每个节点设置必须一样，可选择IP最后一段使用，相同的 VRID 为一个组，他将决定多播的 MAC 地址。 
5> priority：节点优先级，取值范围0～254，MASTER要比BACKUP高 
6> advert_int：MASTER与BACKUP节点间同步检查的时间间隔，单位为秒 
7> lvs_sync_daemon_inteface：负载均衡器之间的监控接口,类似于 HA HeartBeat 的心跳线。但它的机制优于 Heartbeat，因为它没有“裂脑”这个问题,它是以优先级这个机制来规避这个麻烦的。在 DR 模式中，lvs_sync_daemon_inteface与服务接口interface使用同一个网络接口 
8> authentication：验证类型和验证密码。类型主要有 PASS、AH 两种，通常使用PASS类型，据说AH使用时有问题。验证密码为明文，同一vrrp 实例MASTER与BACKUP使用相同的密码才能正常通信。 
9> smtp_alert：有故障时是否激活邮件通知 
10> nopreempt：禁止抢占服务。默认情况，当MASTER服务挂掉之后，BACKUP自动升级为MASTER并接替它的任务，当MASTER服务恢复后，升级为MASTER的BACKUP服务又自动降为BACKUP，把工作权交给原MASTER。当配置了nopreempt，MASTER从挂掉到恢复，不再将服务抢占过来。 
11> virtual_ipaddress：虚拟IP地址池，可以有多个IP，每个IP占一行，不需要指定子网掩码。注意：这个IP必须与我们的设定的vip保持一致。

3.3、虚拟服务器virtual_server定义块

virtual_server：定义一个虚拟服务器，这个ip是virtual_ipaddress中定义的其中一个，后面一个空格，然后加上虚拟服务的端口号。 
1> delay_loop：健康检查时间间隔，单位：秒 
2> lb_algo：负载均衡调度算法，互联网应用常用方式为wlc或rr 
3> lb_kind：负载均衡转发规则。包括DR、NAT、TUN 3种，一般使用路由（DR）转发规则。 
4> persistence_timeout：http服务会话保持时间，单位：秒 
5> protocol：转发协议，分为TCP和UDP两种

real_server：真实服务器IP和端口，可以定义多个 
1> weight：负载权重，值越大，转发的优先级越高 
2> notify_down：服务停止后执行的脚本 
3> TCP_CHECK：服务有效性检测 
* connect_port：服务连接端口 
* connect_timeout：服务连接超时时长，单位：秒 
* nb_get_retry：服务连接失败重试次数 
* delay_before_retry：重试连接间隔，单位：秒