Linux-keppalived

高可用的实现

解决方案：建立冗余机制

active/passive 主/备
active/active 双主

active --> HEARTBEAT --> passive
         心跳线监控设备端口状态   
active <--> HEARTBEAT <--> active 

#心跳线监控设备端口，一旦服务器停止服务，心跳线检测机制，所有来访的请求自动跳转到另一台服务器提供服务   

VRRP

虚拟路由冗余协议，解决静态网关单点风险

• 物理层：路由器，三层交换机
• 软件层：keepalived

VRRP相关术语

• 虚拟路由器：Virtual Router
• 虚拟路由器标识：VRID（0-255），唯一标识虚拟路由器
• VIP：virtual IP
• VMAC：virutal MAC （00-00-5e-00-01-VRID）
• 物理路由器
  • matser：主设备
  • backup：备用设备
  • priority：优先级

VRRP相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式

安全认证

• 无认证
• 简单字符认证：预共享密钥
• MD5

工作模式：

• 主/备：单虚拟路由器
• 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

 

keepalived

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

功能

• 基于vrrp协议完成地址流动
• 为vip地址所在的节点生成ipvs规则（在配置文件中预先定义）
• 为ipvs集群的各RS做健康状态检测
• 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以支持nginx，haproxy等服务

用户空间核心组件：

• vrrp stack：vip消息通告
• checkers：监测real server
• system call：实现vrrp协议状态转换时调用脚本的功能
• SMTP：邮件组件
• IPVS wrapper：生成IP VS规则
• Netlink Reflecror：网络接口
• WatchDog：监控进程

控制组件：提供keepalived.conf的解析器，完成keepalived配置

IO复用器：针对网络目的而优化的自己的线程抽象

内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

 

keepalived 配置说明

配置文件

/etc/keepalived/keepalived.conf

配置文件组成

• global configuration
  • global definitions：定义邮件配置，route_id, vrrp配置，多播地址等　　
• vrrp configuration
  • vrrp instance(s)：定义每个vrrp虚拟路由器
• lvs configuration
  • virtual server group(s)
  • virtual server(s):LVS集群的vs和rs

全局配置

#/etc/keepalived/keepalived.conf
global_defs {
 notification_email {
 root@localhost　　　　 #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
 root@lyj163.com
  59257781@qq.com
 }

 notification_email_from keepalived@localhost  #发邮件的地址
 smtp_server 127.0.0.1    　　　　　　　　　　　　 #邮件服务器地址
 smtp_connect_timeout 30 　　　　　　　　　　　　  #邮件服务器连接timeout
 router_id ka1.example.com　　　　　　　　　　　　 #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
 vrrp_skip_check_adv_addr  　　　　　　　　　　　　#对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
 vrrp_strict 　　　　　　　　　　　　　　　　　　　　 #严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址  2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，　开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置
 
vrrp_garp_interval 0 　　　　　　　　　　　　　　　 #gratuitous ARP messages 报文发送延迟，0表示不延迟
 vrrp_gna_interval 0  　　　　　　　　　　　　　　  #unsolicited NA messages （不请自来）消息发送延迟
 vrrp_mcast_group4 224.0.0.18 　　　　　　　　　　#指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18
 vrrp_iptables        　　　　　　　　　　　　　　　#此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

配置虚拟路由器

vrrp_instance <STRING> { #<String>为vrrp的实例名,一般为业务名称
 配置参数
 ......
 }
#配置参数：
state MASTER|BACKUP　　　　#当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME 　　 #绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID   #每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一

priority 100 　　　　　　　#当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 　　　　　　　#vrrp通告的时间间隔，默认1s

authentication { #认证机制
 auth_type AH|PASS   　　#AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
 auth_pass <PASSWORD>   #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
 <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
 192.168.200.100 　　　　　　　　　　　　　　　　#指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认为/32
 192.168.200.101/24 dev eth1  　　　　　　　　 #指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡 
 192.168.200.102/24 dev eth2 label eth2:1   #指定VIP的网卡label
}
track_interface { #配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移
 eth0
 eth1
 …
}

开启keepalived日志功能

[root@ka1 ~]#vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]#vim /etc/rsyslog.conf
local6.*                                               /var/log/keepalived.log
[root@ka1 ~]#systemctl restart keepalived.service rsyslog.service

实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理，可以将不同集 群的配置，比如：不同集群的VIP配置放在独立的子配置文件中

[root@ka1 ~]#mkdir /etc/keepalived/conf.d/ 创建子配置文件目录
[root@ka1 ~]#vim /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
        592577821@qq.com
   }
   notification_email_from 592577821@qq.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id ka1.lyj.org
   vrrp_skip_check_adv_addr
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
include /etc/keepalived/conf.d/*.conf   #主配文件中写入include + 路径，主配置文件会自动调用此路径，读取配置信息 
　　　　　　　　　　　　　　　　　　　　　　　　#将VRRP相关配置放在子配置文件中 
[root@ka1 ~]#vim /etc/keepalived/conf.d/cluster1.conf

抢占模式和非抢占模式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，造成 网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的 master角色

非抢点模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

 

注意：要关闭 VIP抢占，必须将各 keepalived 服务器state配置为BACKUP

#ha1主机配置
vrrp_instance VI_1 {
 state BACKUP     　　#都为BACKUP
 interface eth0
 virtual_router_id 66
 priority 100   　　　 #优先级高
 advert_int 1
 nopreempt            #添加此行，都为nopreempt

#ha2主机配置
vrrp_instance VI_1 {
 state BACKUP         #都为BACKUP
 interface eth0
 virtual_router_id 66
 priority 80          #优先级低
 advert_int 1
 nopreempt            #添加此行，都为nopreempt

抢占延迟模式 preempt_delay

抢占延迟模式，即优先级高的主机恢复后，不会立即抢回VIP，而是延迟一段时间（默认300s）再抢回 VIP

preempt_delay #     #指定抢占延迟时间为#s，默认延迟300s

VIP单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量

注意：启用 vrrp_strict 时，不能启用单播

#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络
unicast_src_ip <IPADDR>  #指定发送单播的源IP
unicast_peer {
   <IPADDR>     　　　　　 #指定接收单播的对方目标主机IP
   ......
}

 

邮件配置

QQ邮箱配置

[root@centos8 ~]# vim /etc/mail.rc
#在最后面添加下面行
set from=592577821@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=592577821@qq.com
set smtp-auth-password=esvnhbnqocirbicf  
set smtp-auth=login
set ssl-verify=ignore

163 邮箱配置

[root@centos8 ~]#vi /etc/mail.rc
set from=xxx@163.com #之前设置好的邮箱地址
set smtp=smtp.163.com #邮件服务器
set smtp-auth-user=xxx@163.com #之前设置好的邮箱地址
set smtp-auth-password=yyy #授权码
set smtp-auth=login #默认login即可

发送测试邮件

[root@centos8 ~]# yum -y install mailx
[root@centos8 ~]# echo "Test Mail"| mail -s Warning root@592577821@qq.com

实现IPVS的高可用性

IPVS相关配置

虚拟服务器配置结构

virtual_server IP port {
   ...
 real_server {
 ...
 }
 real_server {
 ...
 }
 …
}

virtual server （虚拟服务器）的定义格式

virtual_server IP port      #定义虚拟主机IP地址及其端口
virtual_server fwmark int   #ipvs的防火墙打标，实现基于防火墙的负载均衡集群
virtual_server group string #使用虚拟服务器组

虚拟服务器组

将多个虚拟服务器定义成一个组，统一对外服务，如：http和https定义成一个虚拟服务器组

#参考文档：/usr/share/doc/keepalived/keepalived.conf.virtual_server_group
virtual_server_group <STRING> {
           # Virtual IP Address and Port
           <IPADDR> <PORT>
           <IPADDR> <PORT>
           ...
           # <IPADDR RANGE> has the form
           # XXX.YYY.ZZZ.WWW-VVV eg 192.168.200.1-10
           # range includes both .1 and .10 address
           <IPADDR RANGE> <PORT># VIP range VPORT
           <IPADDR RANGE> <PORT>
           ...
           # Firewall Mark (fwmark)
           fwmark <INTEGER>
           fwmark <INTEGER>
           ...
}

虚拟服务器配置

virtual_server IP port { 　　　　　　　　　　　　　　　　　　  #VIP和PORT
 delay_loop <INT> 　　　　　　　　　　　　　　　　　　　　　　  #检查后端服务器的时间间隔
 lb_algo rr|wrr|lc|wlc|lblc|sh|dh 　　   　　　　　　　　　　#定义调度方法
 lb_kind NAT|DR|TUN 　　　　　　　　　　　　　　　　　　　　　　#集群的类型,注意要大写
 persistence_timeout <INT> 　　　　　　　　　　　　　　　　　　#持久连接时长
 protocol TCP|UDP|SCTP 　　　　　　　　　　　　　　　　　　　　 #指定服务协议,一般为TCP
 sorry_server <IPADDR> <PORT> 　　　　　　　　　　　　　　　　 #所有RS故障时，备用服务器地址
 real_server <IPADDR> <PORT> {          　　　　　　　　　　 #RS的IP和PORT
 weight <INT>  　　　　　　　　　　　　　　　　 　　　　　　　　  #RS权重
 notify_up <STRING>|<QUOTED-STRING>  　　　　　　　　　　　　 #RS上线通知脚本
 notify_down <STRING>|<QUOTED-STRING> 　　　　　　　　　　　　#RS下线通知脚本
 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状态检测方法
 }
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

应用层监测

应用层检测：HTTP_GET|SSL_GET

HTTP_GET|SSL_GET {
 url {
   path <URL_PATH> 　　　　　　　　  #定义要监控的URL
   status_code <INT> 　　　　　　　　#判断上述检测机制为健康状态的响应码，一般为 200
 }
 connect_timeout <INTEGER> 　　　　#客户端请求的超时时长, 相当于haproxy的timeout server
 nb_get_retry <INT> 　　　　　　　　#重试次数
 delay_before_retry <INT>　　　　  #重试之前的延迟时长
 connect_ip <IP ADDRESS> 　　　　  #向当前RS哪个IP地址发起健康状态检测请求
 connect_port <PORT> 　　　　　　   #向当前RS的哪个PORT发起健康状态检测请求
 bindto <IP ADDRESS> 　　　　　　   #向当前RS发出健康状态检测请求时使用的源地址
 bind_port <PORT> 　　　　　　　　   #向当前RS发出健康状态检测请求时使用的源端口
}

TCP监测

传输层检测：TCP_CHECK

TCP_CHECK {
     connect_ip <IP ADDRESS> 　　#向当前RS的哪个IP地址发起健康状态检测请求
     connect_port <PORT>　　　　  #向当前RS的哪个PORT发起健康状态检测请求
     bindto <IP ADDRESS> 　　　　 #发出健康状态检测请求时使用的源地址
     bind_port <PORT>　　　　　　 #发出健康状态检测请求时使用的源端口
     connect_timeout <INTEGER>  #客户端请求的超时时长, 等于haproxy的timeout server  
}

 实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优 先动态调整，从而实现其它应用的高可用性功能

VRRP Script 配置

分两步实现：

定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定 义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。

通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减 至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行
 OPTIONS
}

调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的 vrrp_script

track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

定义 VRRP script

vrrp_script <SCRIPT_NAME> {　　　　　　 　　　#定义一个检测脚本，在global_defs 之外配置
     script <STRING>|<QUOTED-STRING> 　　　　#shell命令或脚本路径
     interval <INTEGER> 　　　　　　　　　　   #间隔时间，单位为秒，默认1秒
     timeout <INTEGER> 　　　　　　　　　　　　#超时时间
     weight <INTEGER:-254..254> 　　　　　　 #默认为0,如果设置此值为负数，当上面脚本返回值为非0时，会将此值与本节点权重相加可以降低本节点权重，即表示fall. 如果是正数，当脚本返回值为0，会将此值与本节点权重相加可以提高本节点权重，即表示 rise.通常使用负值
     fall <INTEGER>       　　　　　　　　　　#执行脚本连续几次都失败,则转换为失败，建议设为2以上
     rise <INTEGER>       　　　　　　　　　　#执行脚本连续几次都成功，把服务器从失败标记为成功
     user USERNAME [GROUPNAME] 　　　　　　　#执行监测脚本的用户或组      
     init_fail         　　　　　　　　　　　　#设置默认标记为失败状态，监测成功之后再转换为成功状态
}

调用 VRRP script

vrrp_instance VI_1 {
 …
 track_script {
 chk_down
 }
}