Keepalived+Nginx高可用集群

  Keepalived简介

  Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

 

  keepalived工作原理

  keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议

虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到vrrp包时就认为master宕掉了,这时就需要根据VRRP的优先级选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块,分别是core、check和vrrp。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

  

  keepalived三个主要功能

  管理LVS负载均衡软件

  实现LVS集群节点的健康检查中

  作为系统网络服务的高可用性(failover)

  PS:本次主要介绍高可用功能

  

  Keepalived安装配置

  安装环境查看

  本次试验使用yum安装

1
yum -y install keepalived

  查看版本

  配置文件为/etc/keepalived/keepalived.conf

  全局配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
lobal_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id lb01
   vrrp_skip_check_adv_addr
#   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

  用来配置router_id(全局唯一) 以及邮箱等信息

  PS:配置邮件用于出现故障发送邮件,工作中这个工作一般交由监控软件zabbix等负责,可以不配置

  vrrp配置部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
vrrp_instance VI_1 {
    state MASTER            #设备状态是主
    interface eth0           #绑定的网络接口是eth0
    virtual_router_id 55        #虚拟路由ID 主备这个ID必须一致 
    priority 150                     #优先级数值越高优先级越高,备的优先级需低于此数值
    advert_int 1            #主备同步间隔单位是秒
    authentication {
        auth_type PASS
        auth_pass 1111         #主备认证方式,主备密码需要一致
    }
    virtual_ipaddress {        #虚拟IP地址以及绑定的网卡
        192.168.56.22/24 dev eth0 label eth0:1
    }
}

  用于配置主备状态,接口,优先级,认证方式IP信息等

  

  高可用服务单实例实战

  图示

  192.168.56.11的keepalived配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
! Configuration File for keepalived
 
global_defs {
   notification_email {
     liuym@abc.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id lb01
#  vrrp_strict
}
 
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 55
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.56.22/24 dev eth0 label eth0:1
    }
}

  192.168.56.12的keepalived配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
! Configuration File for keepalived
 
global_defs {
   notification_email {
     liuym@abc.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id lb02
#  vrrp_strict
}
 
vrrp_instance VI_1 {
    state BACKEND
    interface eth0
    virtual_router_id 55
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.56.22/24 dev eth0 label eth0:1
    }
}

  说明:router_id不一样  

            主备状态不一样(一台是MASTER一台是BACKEDN在配置文件里必须是大写)

     优先级不一样

  PS:vrrp_strict是默认的配置需要注释,否则会导致VIP不通

   

  启动keepalived验证两台主机均启动

1
systemctl start keepalived

  192.168.56.11生产了虚拟IP

  192.168.56.12没有虚拟IP

  停止主keepalived责备机接管虚拟VIP

  主节点没有了虚拟VIP

  主节点再次启动keepalived 因为主节点优先级别高又会自动接管虚拟VIP

 

  keepalived+nginx实现高可用集群

  图示如下

  1,对外提供的VIP是192.168.56.22

  2,其中正常工作是由11提供服务

  3,11宕机的情况VIP会漂移至22主机,用户无感知

  

  11和12主机分别安装nginx并设置反向代理,这里为了方便仅仅反向代理一台主机,生产中是有多台主机的

  nginx.conf配置如下(两台主机nginx配置一样反向代理了11的8080生产中是其他应用的多台主机)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format access_log_json '{"user_ip":"$http_x_forwarded_for","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_rqp":"$request","http_code":"$status","body_bytes_sent":"$body_bytes_sent","req_time":"$request_time","user_ua":"$http_user_agent"}';
    sendfile        on;
    keepalive_timeout  65;
    upstream www_server_pools {
        server 192.168.56.11:8080;
    }
    server {
        listen       192.168.56.22:80;
        server_name  www.liuym.com;
        access_log  /data/logs/nginx/http-access.log  access_log_json;
        error_log /data/logs/nginx/http-error.log;
        location / {
            proxy_pass http://www_server_pools;
            proxy_set_header Host $host;
            proxy_set_header x-Forwarded-For $remote_addr;
        }
    }
}

  注意这里server_name指定了VIP加端口进行绑定,其他配置为nginx基础知识

  客户端设置hosts指向的ip是VIP192.168.56.22 生产中是DNS地址

  web界面通过域名访问(这里使用一个8080端口启动的jenkins作为示例)

  测试VIP漂移

  在master停止keepalived客户端还是可以继续访问该页面

 

  PS:备节点nginx配置了VIP绑定,但是实际主机并没有该VIP在启动nginx的时候会报错

  解决办法,修改内核参数/etc/sysctl.conf增加一条

1
net.ipv4.ip_nonlocal_bind = 1

  执行生效

1
sysctl -p

  

  默认情况下是keepalived软件是在对方宕机或者keepalived停止情况下才接管业务,假如是主节点的Nginx业务有问题呢

  可以写一个脚本监控Nginx如果nginx停止服务就停止keepalived

  check_nginx.sh

1
2
3
4
5
6
7
8
#!/bin/bash
while true
    do
        if [ ` netstat -lntup|grep nginx|wc -l` -ne 1 ];then
        systemctl stop keepalived
        fi
        sleep 5
    done

  检测如果nginx宕机则停止keepalived

  后台运行即可

1
sh check_nginx.sh &

  

posted @   minseo  阅读(429)  评论(0编辑  收藏  举报
编辑推荐:
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
点击右上角即可分享
微信分享提示