Keepalived+Nginx高可用集群

　　Keepalived简介

　　Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

 

　　keepalived工作原理

　　keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

　　

　　keepalived三个主要功能

　　管理LVS负载均衡软件

　　实现LVS集群节点的健康检查中

　　作为系统网络服务的高可用性（failover）

　　PS：本次主要介绍高可用功能

　　

　　Keepalived安装配置

　　安装环境查看

　　本次试验使用yum安装

?

1	yum -y install keepalived

　　查看版本

　　配置文件为/etc/keepalived/keepalived.conf

　　全局配置文件

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

lobal_defs {    notification_email {      acassen@firewall.loc      failover@firewall.loc      sysadmin@firewall.loc    }    notification_email_from Alexandre.Cassen@firewall.loc    smtp_server 192.168.200.1    smtp_connect_timeout 30    router_id lb01    vrrp_skip_check_adv_addr #   vrrp_strict    vrrp_garp_interval 0    vrrp_gna_interval 0 }

　　用来配置router_id（全局唯一） 以及邮箱等信息

　　PS：配置邮件用于出现故障发送邮件，工作中这个工作一般交由监控软件zabbix等负责，可以不配置

　　vrrp配置部分

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14

vrrp_instance VI_1 {     state MASTER　　　　　　　　　　　　#设备状态是主     interface eth0　　　　　　　　　　　#绑定的网络接口是eth0     virtual_router_id 55　　　　　　　 #虚拟路由ID 主备这个ID必须一致　     priority 150                     #优先级数值越高优先级越高，备的优先级需低于此数值     advert_int 1　　　　　　　　　　　　#主备同步间隔单位是秒     authentication {         auth_type PASS         auth_pass 1111　　　　　　　　 #主备认证方式，主备密码需要一致     }     virtual_ipaddress {　　　　　　　　#虚拟IP地址以及绑定的网卡         192.168.56.22/24 dev eth0 label eth0:1     } }

　　用于配置主备状态，接口，优先级，认证方式IP信息等

　　

　　高可用服务单实例实战

　　图示

　　192.168.56.11的keepalived配置

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

! Configuration File for keepalived   global_defs {    notification_email {      liuym@abc.com    }    notification_email_from Alexandre.Cassen@firewall.loc    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id lb01 #  vrrp_strict }   vrrp_instance VI_1 {     state MASTER     interface eth0     virtual_router_id 55     priority 150     advert_int 1     authentication {         auth_type PASS         auth_pass 1111     }     virtual_ipaddress {         192.168.56.22/24 dev eth0 label eth0:1     } }

　　192.168.56.12的keepalived配置

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

! Configuration File for keepalived   global_defs {    notification_email {      liuym@abc.com    }    notification_email_from Alexandre.Cassen@firewall.loc    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id lb02 #  vrrp_strict }   vrrp_instance VI_1 {     state BACKEND     interface eth0     virtual_router_id 55     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass 1111     }     virtual_ipaddress {         192.168.56.22/24 dev eth0 label eth0:1     } }

　　说明：router_id不一样  

　　          主备状态不一样（一台是MASTER一台是BACKEDN在配置文件里必须是大写）

　　　　　优先级不一样

　　PS：vrrp_strict是默认的配置需要注释，否则会导致VIP不通

 　　

　　启动keepalived验证两台主机均启动

?

1	systemctl start keepalived

　　192.168.56.11生产了虚拟IP

　　192.168.56.12没有虚拟IP

　　停止主keepalived责备机接管虚拟VIP

　　主节点没有了虚拟VIP

　　主节点再次启动keepalived 因为主节点优先级别高又会自动接管虚拟VIP

 

　　keepalived+nginx实现高可用集群

　　图示如下

　　1，对外提供的VIP是192.168.56.22

　　2，其中正常工作是由11提供服务

　　3，11宕机的情况VIP会漂移至22主机，用户无感知

　　

　　11和12主机分别安装nginx并设置反向代理，这里为了方便仅仅反向代理一台主机，生产中是有多台主机的

　　nginx.conf配置如下（两台主机nginx配置一样反向代理了11的8080生产中是其他应用的多台主机）

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

worker_processes  1; events {     worker_connections  1024; } http {     include       mime.types;     default_type  application/octet-stream;     log_format access_log_json '{"user_ip":"$http_x_forwarded_for","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_rqp":"$request","http_code":"$status","body_bytes_sent":"$body_bytes_sent","req_time":"$request_time","user_ua":"$http_user_agent"}';     sendfile        on;     keepalive_timeout  65;     upstream www_server_pools {         server 192.168.56.11:8080;     }     server {         listen       192.168.56.22:80;         server_name  www.liuym.com;         access_log  /data/logs/nginx/http-access.log  access_log_json;         error_log /data/logs/nginx/http-error.log;         location / {             proxy_pass http://www_server_pools;             proxy_set_header Host $host;             proxy_set_header x-Forwarded-For $remote_addr;         }     } }

　　注意这里server_name指定了VIP加端口进行绑定，其他配置为nginx基础知识

　　客户端设置hosts指向的ip是VIP192.168.56.22 生产中是DNS地址

　　web界面通过域名访问（这里使用一个8080端口启动的jenkins作为示例）

　　测试VIP漂移

　　在master停止keepalived客户端还是可以继续访问该页面

 

　　PS：备节点nginx配置了VIP绑定，但是实际主机并没有该VIP在启动nginx的时候会报错

　　解决办法，修改内核参数/etc/sysctl.conf增加一条

?

1	net.ipv4.ip_nonlocal_bind = 1

　　执行生效

?

1

sysctl -p

　　

　　默认情况下是keepalived软件是在对方宕机或者keepalived停止情况下才接管业务，假如是主节点的Nginx业务有问题呢

　　可以写一个脚本监控Nginx如果nginx停止服务就停止keepalived

　　check_nginx.sh

?

1 2 3 4 5 6 7 8

#!/bin/bash while true     do         if [ ` netstat -lntup|grep nginx|wc -l` -ne 1 ];then         systemctl stop keepalived         fi         sleep 5     done

　　检测如果nginx宕机则停止keepalived

　　后台运行即可

?

1	sh check_nginx.sh &