keepalived03-keepalived示例

• keepalived，原生设计的目的为了高可用ipvs服务。
  • 基于vrrp协议完成IP地址飘移。
  • 基于ipvs模块生成ipvs规则(在配置文件中预先定义)。
  • 检查器根据后端服务器的状态，动态的调整ipvs规则。
• keepalived通过调用接口，可以执行外部脚本，并根据外部脚本的执行状态码，可以动态的调整优先级。（可高可用其他服务，例如nginx等）

1、实现VIP飘移（主备模式）

1、主备模式之主节点(10.1.1.11机器)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha11
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state MASTER
    priority 100
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

2、主备模式之备节点(10.1.1.12机器)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha12       #节点名称，可以是任意字符串
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state BACKUP             #!
    priority 95              #!
    interface ens33
    virtual_router_id 101    #同一个虚拟路由器的标识要相同
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101      #同一个虚拟路由器的认证密码必须相同
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

3、测试VIP飘移

#(1)启动备节点，观察VIP（VIP在备节点上）
systemctl start keepalived.service
 
#(2)启动主节点，观察VIP（VIP从备节点飘移到了主节点上）
systemctl start keepalived.service

#(3)停止主节点，观察VIP（VIP从主节点飘移到了备节点上）
systemctl stop keepalived.service

2、双主模型

• 双主模型其实就是在两台机器上同时创建两个虚拟路由器，一个虚拟路由器是主备，一个虚拟路由器是备主。即一个虚拟路由器是A主B备，另一个虚拟路由器是A备B主。

 

1、第一个节点(10.1.1.11机器)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha11
    vrrp_mcast_group4 224.1.1.1
}

#对于第一个虚拟路由器，本机是主节点
vrrp_instance VR_1 {
    state MASTER
    priority 100
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

#对于第二个虚拟路由器，本机是备节点
vrrp_instance VR_2 {
    state BACKUP
    priority 96
    interface ens33          #两个虚拟路由器的VIP可以配置在同一个网络接口上
    virtual_router_id 102    #不同的虚拟路由器，virtual_router_id不同
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh102      #不同的虚拟路由器，认证的密码不同
    }
    virtual_ipaddress {
        10.1.1.100/24 dev ens33 label ens33:2    #不同的虚拟路由器，VIP不同，别名也不能相同（或者两个VIP都使用辅助IP）
    }
}

2、第二个节点(10.1.1.12机器)

global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha12
    vrrp_mcast_group4 224.1.1.1
}

#对于第一个虚拟路由器，本机是备节点
vrrp_instance VR_1 {
    state BACKUP
    priority 95
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

#对于第二个虚拟路由器，本机是主节点
vrrp_instance VR_2 {
    state MASTER
    priority 100
    interface ens33          #两个虚拟路由器的VIP可以配置在同一个网络接口上
    virtual_router_id 102    #不同的虚拟路由器，virtual_router_id不同
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh102      #不同的虚拟路由器，认证的密码不同
    }
    virtual_ipaddress {
        10.1.1.100/24 dev ens33 label ens33:2    #不同的虚拟路由器，VIP不同，别名也不能相同（或者两个VIP都使用辅助IP）
    }
}

3、通知脚本

• 通知脚本：在keepalived状态发生变化时要执行的脚本，不但可以进行通知，也可以执行一些其他操作。

• 脚本文件名可以不加引号(如果只有文件名)，也可以加引号(如果有参数)。

• 如果指定username，用户组默认为用户所在组。
• 如果未指定username，则默认使用全局的script_user和script_group

1、创建通知脚本

]# vim /apps/keepalived/notify.sh
#!/bin/bash
notify(){
    if ! [[ -f /apps/keepalived/notify.log ]]; then
        touch /apps/keepalived/notify.log
    fi
    echo "$(date +'%F %T') $(hostname) to be $1" >> /apps/keepalived/notify.log
}

case $1 in
master)
    notify master
    ;;
backup)
    notify backup
    ;;
fault)
    notify fault
    ;;
stop)
    notify stop
    ;;
*)
    echo "Usage: $(basename $0) {master | backup | faulty | stop}" 
    exit 1
    ;;
esac

• 添加可执行权限

]# chmod 744 /apps/keepalived/notify.sh

2、主备模式之主节点(10.1.1.11机器)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha11
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state MASTER
    priority 100
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }

    notify_master "/apps/keepalived/notify.sh master"     #变为master时，要执行的脚本
    notify_backup "/apps/keepalived/notify.sh backup"     #变为backup时，要执行的脚本
    notify_fault  "/apps/keepalived/notify.sh fault"      #变为fault（发现网络接口down了就进入fault状态）时，要执行的脚本
    notify_stop   "/apps/keepalived/notify.sh stop"       #VRRP停止（keepalived停止）时，要执行的脚本
}

3、主备模式之备节点(10.1.1.12机器)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha12
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state BACKUP
    priority 95 
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }

    notify_master "/apps/keepalived/notify.sh master"     #变为master时，要执行的脚本
    notify_backup "/apps/keepalived/notify.sh backup"     #变为backup时，要执行的脚本
    notify_fault  "/apps/keepalived/notify.sh fault"      #变为fault（发现网络接口down了就进入fault状态）时，要执行的脚本
    notify_stop   "/apps/keepalived/notify.sh stop"       #VRRP停止（keepalived停止）时，要执行的脚本
}

4、测试

#(1)启动10.1.1.12，观察VIP和notify.log文件（tailf /apps/keepalived/notify.log）
systemctl start keepalived.service
 
#(2)启动10.1.1.11，观察VIP和notify.log文件
systemctl start keepalived.service

#(3)停止10.1.1.11，观察VIP和notify.log文件
systemctl stop keepalived.service

#(4)停止10.1.1.12，观察VIP和notify.log文件
systemctl stop keepalived.service

4、通过ipvs实现负载均衡

• keepalived通过ipvs实现负载均衡：
  • 根据后端服务器的健康情况，keepalived可以动态的调整ipvs规则。
  • 后端服务可以是任何服务，例如httpd、nginx、FTP等。

4.1、实验架构

• 在10.1.1.11和10.1.1.12上安装LVM_DR模型、keepalived、httpd。
• 在10.1.1.13和10.1.1.14上安装httpd。

4.2、配置RS和DS

4.2.1、配置RS

1、安装httpd，并创建index.html文件

//安装并启动httpd
]# yum install httpd -y
]# systemctl start httpd.service
  
//创建index.html文件，提供后端主机测试页
]# echo '<h1>RS, 10.1.1.13</h1>' > /var/www/html/index.html
]# echo '<h1>RS, 10.1.1.14</h1>' > /var/www/html/index.html

//创建check.html文件，提供后端主机健康状态检查测试页
]# echo '<h1>check</h1>' > /var/www/html/check.html

2、限制ARP通告和应答级别

//配置arp的内核参数，抑制arp的通告和应答
]# cat > /etc/sysctl.conf << EOF
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
EOF
//使配置生效
]# sysctl -p

3、配置VIP

//将VIP配置到lo:0上
]# cat > /etc/sysconfig/network-scripts/ifcfg-lo:0 << EOF
DEVICE=lo:0
ONBOOT=yes
BOOTPROTO=static
IPADDR=10.1.1.99
PREFIX=32
EOF
//重启网络服务
]# systemctl restart network.service

4、在DS上测试两个RS上的httpd服务是否可用

]# curl 10.1.1.13
<h1>RS, 10.1.1.13</h1>
]# curl 10.1.1.14
<h1>RS, 10.1.1.14</h1>

4.2.2、配置DS

1、安装httpd，并创建index.html文件

//安装并启动httpd
]# yum install httpd -y
]# systemctl start httpd.service
  
//创建index.html文件，提供sorry测试页
]# echo '<h1>RS, 10.1.1.13</h1>' > /var/www/html/index.html
]# echo '<h1>RS, 10.1.1.14</h1>' > /var/www/html/index.html

2、安装keepalivde

• 见前面的安装章节

3、配置keepalived

(1)主节点(10.1.1.11)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha11
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state MASTER
    priority 100
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

#定义一个ipvs虚拟服务
virtual_server 10.1.1.99 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    #persistence_timeout 50
    protocol TCP
    sorry_server 127.0.0.1 80

    real_server 10.1.1.13 80{    #定义第一个后端服务器(RS)
        weight 1
        HTTP_GET {               #使用http协议进行健康状态检测
            url {
              path /check.html
              digest eb77028700d8705cfae778e12fb7d1df
            }
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }

    real_server 10.1.1.14 80{    #定义第二个后端服务器(RS)
        weight 1
        TCP_CHECK {              #使用tcp协议进行健康状态检测
            retry 3
            delay_before_retry 2
            connect_timeout 3
        }
    }
}

(2)备节点(10.1.1.12)

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha12
    vrrp_mcast_group4 224.1.1.1
}

vrrp_instance VR_1 {
    state BACKUP
    priority 95 
    interface ens33
    virtual_router_id 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

#定义一个ipvs虚拟服务
virtual_server 10.1.1.99 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    #persistence_timeout 50
    protocol TCP
    sorry_server 127.0.0.1 80

    real_server 10.1.1.13 80{    #定义第一个后端服务器(RS)
        weight 1
        HTTP_GET {               #使用http协议进行健康状态检测
            url {
              path /check.html
              digest eb77028700d8705cfae778e12fb7d1df
            }
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }

    real_server 10.1.1.14 80{    #定义第二个后端服务器(RS)
        weight 1
        TCP_CHECK {              #使用tcp协议进行健康状态检测
            retry 3
            delay_before_retry 2
            connect_timeout 3
        }
    }
}

4、测试

• 启动keepaived后，通过起停后端httpd服务观察ipvs规则。

]# systemctl stop httpd.service 
]# systemctl start httpd.service

]# ipvsadm -l

5、外部脚本

• keepalived调用外部脚本进行资源监控，并根据监控的结果可以实现优先级的动态调整。进而高可用其他服务，如nginx。

5.1、怎样使用外部脚本

• 要使用外部脚本，有两个步骤：

//(1)定义外部脚本
vrrp_script <SCRIPT_NAME> {
    #脚本的路径
    script <STRING>|<QUOTED-STRING>
    #周期性地执行脚本，间隔<interval>秒执行一次。(default: 1 second)
    interval <INTEGER>
    #调整优先级的权重(默认:0)。
        #负，执行成功不变，执行失败降权。
        #正，执行成功加权，执行失败不变。
    weight <INTEGER:-253..253> [reverse]
    #执行脚本连续成功n次，状态从fail转换到ok
    rise <INTEGER>
    #执行脚本连续失败n次，状态从ok转换到fail
    fall <INTEGER>
}

//(2)调用外部脚本
vrrp_instance <STRING> {
    track_script {
        <SCRIPT_NAME>
        <SCRIPT_NAME> weight <-253..253> [reverse|no_reverse]
    }
}

5.2、高可用nginx

1、架构图

• keepalived仅提供高可用（即飘移vip）功能。
• 负载均衡（向后端代理）是由nginx实现的。

2、编写脚本

]# vim /apps/keepalived/check_nginx.sh
#!/bin/bash
killall -0 nginx && exit 0 || exit 1

]# chmod 645 /apps/keepalived/check_nginx.sh

3、配置keepalive

• 主节点

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha11
    vrrp_mcast_group4 224.1.1.1

    script_user root
    enable_script_security
}

#定义外部脚本
vrrp_script chk {
    script "/apps/keepalived/check_nginx.sh"
    interval 2
    rise 3
    fall 2
    weight -6
}

vrrp_instance VR_1 {
    state MASTER
    priority 100
    interface ens33
    virtual_router_id 101
    advert_int 1

    #调用外部脚本
    track_script {
        chk
    }

    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

• 备节点

]# vim /apps/keepalived/etc/keepalived/keepalived.conf
global_defs {
    notification_email {
        root@localhost
    }
    notification_email_from keepalived@hengha11
    smtp_server 127.0.0.1
    smtp_connect_timeout 30

    router_id hengha12
    vrrp_mcast_group4 224.1.1.1

    script_user root
    enable_script_security
}

#定义外部脚本
vrrp_script chk {
    script "/apps/keepalived/check_nginx.sh"
    interval 2
    rise 3
    fall 2
    weight -6
}

vrrp_instance VR_1 {
    state BACKUP
    priority 95 
    interface ens33
    virtual_router_id 101
    advert_int 1

    #调用外部脚本
    track_script {
        chk
    }

    authentication {
        auth_type PASS
        auth_pass hh101
    }
    virtual_ipaddress {
        10.1.1.99/24 dev ens33 label ens33:1
    }
}

4、问题

问题1：

• 报错信息：Jul 30 19:55:15 11 Keepalived_vrrp[65006]: WARNING - default user 'keepalived_script' for script execution does not exist - please create.
• 解决，在全局配置块中填写如下两个指令

script_user root
enable_script_security

6、使用Keepalived+ipvs实现负载均衡RabbitMQ

• 参见：https://www.cnblogs.com/maiblogs/p/16482831.html

7、使用Keepalived+HAProxy实现负载均衡RabbitMQ

• 参见：https://www.cnblogs.com/maiblogs/p/16482831.html

#                                                                                                                        #