【转载】Keepalived安装使用详解

转自:http://www.cnblogs.com/MacoLee/p/5853356.html

简介

Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具还有heartbeat、corosync、pacemaker。

但是它一般不会单独出现,而是与其它负载均衡技术(如lvs、haproxy、nginx)一起工作来达到集群的高可用。

Keepalived的作用是检测服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作;

当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

安装

#下载
wget http://www.keepalived.org/software/keepalived-1.2.23.tar.gz
#解压
tar -zxvf keepalived-1.2.23.tar.gz
cd keepalived-1.2.23
#安装
./configure --prefix=/usr/local/keepalived   #prefix指定安装目录
make
make install

 

配置

【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候,发送邮件告知,可以有多个地址,每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同,也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER #指定当前节点为主节点 备用节点上设置为BACKUP即可
    interface eth0 #绑定虚拟IP的网络接口
    virtual_router_id 51 #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
    priority 100 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低
    advert_int 1
    authentication { #设置验证信息,两个节点必须一致
      auth_type PASS
      auth_pass 1111
    }
    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
      192.168.1.21/24
    }
}


【/usr/local/keepalived/etc/sysconfig/keepalived】

KEEPALIVED_OPTIONS="-D -f /usr/local/keepalived/etc/keepalived/keepalived.conf" #指定keepalived配置文件路径

 

因为我们使用非默认路径(/usr/local)安装keepalived,需要设置一些软链接以保证keepalived能正常启动

ln -s /usr/local/keepalived/sbin/keepalived  /usr/bin #将keepalived主程序加入到环境变量
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived  /etc/init.d/ #keepalived启动脚本,放到/etc/init.d/目录下就可以使用service命令便捷调用
ln -s /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/ #keepalived启动脚本变量引用文件,默认文件路径是/etc/sysconfig/,也可以不做软链接,直接修改启动脚本中文件路径即可

 

启动

service keepalived start|stop|restart
chkconfig keepalived on


默认的配置文件中,指定了虚拟IP :192.168.1.21,可使用ip addr(或ip a)命令验证之。

 

应用

keepalived两种模式:主-备主-主

主-备

虚拟IP:192.168.1.21         主节点:192.168.1.23          备用节点:192.168.1.24

主配置文件

【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候,发送邮件告知,可以有多个地址,每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同,也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER #指定当前节点为主节点 备用节点上设置为BACKUP即可
    interface eth0 #绑定虚拟IP的网络接口
    virtual_router_id 51 #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
    priority 100 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低
    advert_int 1
    authentication { #设置验证信息,两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
        192.168.1.21/24
    }
}    

 

备配置文件
【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候,发送邮件告知,可以有多个地址,每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同,也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state BACKUP #指定当前节点为主节点 备用节点上设置为BACKUP即可
    interface eth0 #绑定虚拟IP的网络接口
    virtual_router_id 51 #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
    priority 99 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低
    advert_int 1
    authentication { #设置验证信息,两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
        192.168.1.21/24
    }
}

 

 

主-主

虚拟IP:192.168.1.21、192.168.1.22      A节点:192.168.1.23       B节点:192.168.1.24

主备模式的缺点就是始终只有一台机器位于工作状态,另外一台机器永远是备用状态,存在资源浪费之问题。

双主模式允许两台机器均处于工作状态并互相作为备份。搭建keepalived双方模式的要素:

复制代码
1.必须有两个虚拟IP, 分别绑定至两个节点上

2.每个节点作为某个虚拟IP的主节点,并同时作为另外一个虚拟IP的备用节点。

3.当某个节点产生故障时,两个虚拟IP自动绑定至正常节点上

也就是说,两个节点的配置应该是交叉的,对同个虚拟IP,交叉互为主备。
复制代码

 

 

节点A配置文件

【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候,发送邮件告知,可以有多个地址,每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同,也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER 
    interface eth0 
    virtual_router_id 51 #本机两个vrrp_instance组的此值不能相同,但对应备用节点的此值必须相同
    priority 100 #对应备用节点值应该比此值小
    advert_int 1
    authentication { 
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { 
        192.168.1.21/24
    }
}

vrrp_instance VI_2 {
    state BACKUP 
    interface eth0 
    virtual_router_id 52 #本机两个vrrp_instance组的此值不能相同,但对应备用节点的此值必须相同
    priority 99 #主节点的值应该比此值大
    advert_int 1
    authentication { 
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { 
        192.168.1.22/24
    }
}

 


节点B配置文件
【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
   notification_email { #指定keepalived在发生事情的时候,发送邮件告知,可以有多个地址,每行一个。
    acassen@firewall.loc
    failover@firewall.loc
    sysadmin@firewall.loc
}
  notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
  smtp_server 127.0.0.1 #发送email的smtp地址
  smtp_connect_timeout 30 #超时时间
  router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同,也可以不同
  vrrp_skip_check_adv_addr 
  vrrp_strict
  vrrp_garp_interval 0
  vrrp_gna_interval 0
}

vrrp_instance VI_1 {
  state BACKUP 
  interface eth0 
  virtual_router_id 51 #本机两个vrrp_instance组的此值不能相同,但对应备用节点的此值必须相同
  priority 99 #对应主节点值应该比此值大
  advert_int 1
  authentication { 
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress { 
    192.168.1.21/24
  }
}

vrrp_instance VI_2 {
  state MASTER 
  interface eth0 
  virtual_router_id 52 #本机两个vrrp_instance组的此值不能相同,但对应备用节点的此值必须相同
  priority 100 #对应备用节点的值应该比此值小
  advert_int 1
  authentication { 
    auth_type PASS
    auth_pass 1111
  }
  virtual_ipaddress { 
    192.168.1.22/24
  }
}

 

脑裂问题

两个节点实际都处于正常工作状态,但是无法接收到彼此的组播通知,这时两个节点均强行绑定虚拟IP,导致不可预料的后果。

这时就需要设置仲裁,即每个节点必须判断自身的状态(应用服务状态及自身网络状态),要实现这两点可使用自定义shell脚本实现,通过周期性地检查自身应用服务状态,并不断ping网关(或其它可靠的参考IP)均可。当自身服务异常、或无法ping通网关,则认为自身出现故障,就应该移除掉虚拟IP(停止keepalived服务即可)。


主要借助keepalived提供的vrrp_script及track_script实现:

在keepalived的配置文件最前面加入以下代码,定义一个跟踪脚本:

vrrp_script check_local { #定义一个名称为check_local的检查脚本
  script "/usr/local/keepalived/bin/check_local.sh" #shell脚本的路径
  interval 5 #运行间隔
}


再在vrrp_instance配置中加入以下代码使用上面定义的检测脚本:

track_script {
  check_local
}

我们在/usr/local/keepalived/bin/check_local.sh定义的检测规则是:

1. 自身web服务故障(超时,http返回状态不是200)

2. 无法ping通网关

3. 产生以上任何一个问题,均应该移除本机的虚拟IP(停止keepalived实例即可)


但这里有个小问题,如果本机或是网关偶尔出现一次故障,那么我们不能认为是服务故障。更好的做法是如果连续N次检测本机服务不正常或连接N次无法ping通网关,才认为是故障产生,才需要进行故障转移。

但这么做的缺点是,如果脚本检测到故障产生,并停止掉了keepalived服务,那么当故障恢复后,keepalived是无法自动恢复的。

 

还可以利用独立的脚本以秒级的间隔检查自身服务及网关连接性,再根据故障情况控制keepalived的运行或是停止。

在每个节点运行shell脚本(check_service.sh)检测本机的服务是否正常,一旦检测到服务异常时,停止掉本机的keepalived, 如此虚拟IP自动转移到备用机器之上,如每隔3秒检测一次本机服务状态,如果连接3次检测失败,则停止掉keepalived实例。同时如果本机服务是正常的,但是keepalived没有启动(故障恢复之后),则启动keepalived,以达到故障恢复之目的。

check_service.sh文件的内容

#!/bin/bash

pidfile=/var/lock/subsys/`basename $0`.pid
if [ -f $pidfile ] && [ -e /proc/`cat $pidfile` ] ; then
  exit 1
fi

trap "rm -fr $pidfile ; exit 0" 1 2 3 15
echo $$ > $pidfile

maxfails=3
fails=0
success=0

while [ 1 ]
do
  /usr/bin/wget --timeout=3 --tries=1 http://127.0.0.1/ -q -O /dev/null
  if [ $? -ne 0 ] ; then
    let fails=$[$fails+1]
    success=0
  else
    fails=0
    let success=$[$success+1]
  fi

  if [ $fails -ge $maxfails ] ; then
    fails=0
    success=0

    #check keepalived is running ? try to stop it
    service keepalived status | grep running
    if [ $? -eq 0 ] ; then
      logger -is "local service fails $maxfails times ... try to stop keepalived."
      service keepalived stop 2>&1 | logger
    fi
  fi

  if [ $success -gt $maxfails ] ; then
    #check keepalived is stopped ? try to start it
    service keepalived status | grep stopped
    if [ $? -eq 0 ] ; then
      logger -is "service changes normal, try to start keepalived ."
      service keepalived start
    fi
    success=0
  fi
  sleep 3
done

 

两个节点上均应运行此脚本,请将此脚本加入到cron任务中(此程序已经作了单实例运行机制,加入计划任务的作用就是防止脚本意外中断后检测功能失效),可实现的功能:

如果本地服务连续三次检测失败,就尝试停止keepalived服务(如果keepalived处于运行状态)

如果本地服务连接三次检测成功,但keepalived没有启动,则启动之

关键的执行点,均已经记录到系统日志中(/var/log/messages)

执行crontab -e , 加入以下内容:

*/1 * * * * /root/check_service.sh

 


停止掉本机的keepalived, 稍过一会,就会keepalived服务被自动启动了(这是因为本地服务检测正常)

停止掉本机的nginx, 稍过一会,就会发现keepalived服务也被停止掉了

再启动nginx, 稍过一会,发现keepalived也被正常启动,并绑定了正确的虚拟IP

 


参考资料:

http://zhangxugg-163-com.iteye.com/blog/1665419

posted @ 2017-08-30 15:39  当年亦如是  阅读(970)  评论(0编辑  收藏  举报