Kubernets二进制安装(8)之部署四层反向代理
四层反向代理集群规划
主机名 | 角色 | IP地址 |
---|---|---|
mfyxw10.mfyxw.com | 4层负载均衡(主) | 192.168.80.10 |
mfyxw20.mfyxw.com | 4层负载均衡(从) | 192.168.80.20 |
keepalived中的两种模式
(1)master->backup模式
一旦主库宕机,虚拟ip会自动漂移到从库,当主库修复后,keepalived启动后,还会把虚拟ip抢占过来,即使设置了非抢占模式(nopreempt)抢占ip的动作也会发生。
(2)backup->backup模式
当主库宕机后虚拟ip会自动漂移到从库上,当原主库恢复和keepalived服务启动后,并不会抢占新主的虚拟ip,即使是优先级高于从库的优先级别,也不会发生抢占。为了减少ip漂移次数,通常是把修复好的主库当做新的备库。
1.安装Nignx做反向代理
#在mfyxw10主机上安装nginx
[root@mfyxw10 ~]# yum -y install nginx
#在mfyxw20主机上安装nginx
[root@mfyxw10 ~]# yum -y install nginx
2.提供反向代理配置
#把如下内容放在/etc/nginx/nginx.conf配置文件的http段外,mfyxw10和mfyxw20主机都需要放
[root@mfyxw10 ~]#cat >> /etc/nginx/nginx.conf << EOF
stream {
upstream kube-apiserver {
server 192.168.80.30:6443 max_fails=3 fail_timeout=30s;
server 192.168.80.40:6443 max_fails=3 fail_timeout=30s;
}
server {
listen 7443;
proxy_connect_timeout 2s;
proxy_timeout 900s;
proxy_pass kube-apiserver;
}
}
EOF
3.检查配置文件是否有误并启动nginx服务
[root@mfyxw10 ~]#nginx -t
[root@mfyxw10 ~]#systemctl enable --now nginx
[root@mfyxw10 ~]#systemctl status nginx
[root@mfyxw20 ~]#nginx -t
[root@mfyxw20 ~]#systemctl enable --now nginx
[root@mfyxw20 ~]#systemctl status nginx
4.安装keepalived高可用
#在mfyxw10主机上安装keepalived高可用软件
[root@mfyxw10 ~]#yum -y install keepalived
#在mfyxw20主机上安装keepalived高可用软件
[root@mfyxw20 ~]#yum -y install keepalived
5.提供keepalievd监听脚本
在mfyxw10和mfyxw20主机上分别提供keepalived监控端口脚本并赋予可执行权限,截图以mfyxw10主机为例
[root@mfyxw10 ~]#cat > /etc/keepalived/check_port.sh << EOF
#!/bin/bash
#keepalived 监控端口脚本
#使用方法:
#在keepalived的配置文件中
#vrrp_script check_port {#创建一个vrrp_script脚本,检查配置
# script "/etc/keepalived/check_port.sh 6379" #配置监听的端口
# interval 2 #检查脚本的频率,单位(秒)
#}
CHK_PORT=\$1
if [ -n "\$CHK_PORT" ];then
PORT_PROCESS=\`ss -lnt|grep \$CHK_PORT|wc -l\`
if [ \$PORT_PROCESS -eq 0 ];then
echo "Port \$CHK_PORT Is Not Used,End."
exit 1
fi
else
echo "Check Port Cant Be Empty!"
fi
EOF
#赋予可执行权限
[root@mfyxw10 ~]#chmod +x /etc/keepalived/check_port.sh
6.提供keepalived配置文件,用于做为主
在mfyxw10主机上提供keepalived配置文件,并设备此机器的keepalived为主
[root@mfyxw10 ~]#cat > /etc/keepalived/keepalived.conf << EOF
! Configuration File for keepalived
global_defs {
router_id 192.168.80.10
}
vrrp_script chk_nginx {
script "/etc/keepalived/check_port.sh 7443"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP #经测试设置为MASTER,nopreempt无法生效,设置为BACKUP可生效,但是二台都要设置nopreempt
interface ens33 #此接口要填写你的网卡接口的名称
virtual_router_id 251
priority 100
advert_int 1
mcast_src_ip 192.168.80.10
nopreempt
authentication {
auth_type PASS
auth_pass 11111111
}
track_script {
chk_nginx
}
virtual_ipaddress {
192.168.80.100 #此IP是VIP地址
}
}
EOF
温馨提示:
router_id: 运行keepalived机器的一个标识,一般设置为本地IP地址也行
mcast_src_ip: 发送多播包的地址,如果不设置默认使用绑定网卡的primary ip,一般设置为本机的IP地址
nopreempt:通常如果master服务死掉后backup会变成master,但是当master服务又好了的时候master此时会抢占 VIP,这样就会发生两次切换对业务繁忙的网站来说是不好的。所以我们要在配置文件加入nopreempt 非抢 占,但是这个参数只能用于state 为backup,故我们在用HA的时候最好master和backup的state都设置成 backup 让其通过priority来竞争。
state MASTER: 标记该节点是master还是backup
interface 接口名称:配置VIP绑定的网卡,这是使用和外网通信的网卡
virtual_router_id ID号: 取1-255之间的值,主备需要相同,这样才能成为一个组
priority 数字:权重,数值高的主机是master,这是影响主备的关键
nopreempt: 非抢占模式,需要设置state为backup
advert_int 1: 主备之间通讯的间隔秒数,用于判断主节点是否存活
authentication {
auth_type PASS #进行安全认证的方式,PASS或者AH方式,推荐PASS
auth_pass 111 #PASS的密码
}
virtual_ipaddress {
IP地址: 设置VIP地址,最多可以写20个,keepalived启动后会自动配置该处VIP
}
7.提供keepalived配置文件,用于做为备
在mfyxw20主机上提供keepalived配置文件,并设备此机器的keepalived为备
[root@mfyxw20 ~]#cat > /etc/keepalived/keepalived.conf << EOF
! Configuration File for keepalived
global_defs {
router_id 192.168.80.20
}
vrrp_script chk_nginx {
script "/etc/keepalived/check_port.sh 7443"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP
interface ens33 #此接口要填写你的网卡接口的名称
virtual_router_id 251
mcast_src_ip 192.168.80.20
priority 90
advert_int 1
nopreempt
authentication {
auth_type PASS
auth_pass 11111111
}
track_script {
chk_nginx
}
virtual_ipaddress {
192.168.80.100
}
}
EOF
8.启动keepalived服务并检查
在mfyxw10主机上操作
[root@mfyxw10 ~]# systemctl enable --now keepalived
[root@mfyxw10 ~]# nginx -s reload
[root@mfyxw10 ~]# netstat -luntp | grep 7443
[root@mfyxw10 ~]# ip addr
在mfyxw20主机上操作
[root@mfyxw20 ~]# systemctl enable --now keepalived
[root@mfyxw20 ~]# nginx -s reload
[root@mfyxw20 ~]# netstat -luntp | grep 7443
[root@mfyxw20 ~]# ip addr
9.模拟网络故障
在mfyxw10主机上,把keepalived服务停用,看vip地址是否漂移到备机mfyxw20上
[root@mfyxw10 ~]#systemctl stop keepalived
[root@mfyxw10 ~]#ip addr
在mfyxw20主机上查看vip地址是否已经在此机器上
[root@mfyxw20 ~]#ip addr
模拟mfyxw10主机的keepalived服务已经启动,查看是否从备机mfyxw20上的vip地址漂移回来到主上,那是因为,在keepalived的配置文件中都已经设置了nopreempt并且state都设置为BACKUP
[root@mfyxw10 ~]#systemctl start keepalived
[root@mfyxw10 ~]#ip addr
10.keepalived遇到的问题
1.systemctl无法彻底停掉keepalived
在使用yum安装keepalived(版本为keepalived-1.3.5-16.el7.x86_64)的时候,使用systemctl stop keepalive会出来如何问题,这样会导致无法正常stop掉keepalived进程,再次启动时虽然可以启动,但进程状态里面会提示:Can’t open PID file /var/run/keepalived.pid (yet?) after start
解决方法
vi /lib/systemd/system/keepalived.service
KillMode=process #只杀掉程序的主进程,不管打开的子进程 将此行注释掉即可