Linux--LVS+Keepalived群集

LVS+Keepalived群集

一、Keepalived实现原理

1. 单服务器的风险

企业应用中，单台服务器承担应用存在单点故障的危险，单点故障一旦发生，企业服务将发生中断，造成极大的危害和损失。

2. Keepalived工具

Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。是专为LVS和HA设计的一款健康检查工具
· 支持故障自动切换（Failover）
· 支持节点健康状态检查(Health Checking)
判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点
· 官方网站：http://www.keepalived.org/

3. Keepalived解决单点故障的方法

在一个LVS服务集群中通常有主服务器（master）和备份服务器（backup）两种角色的服务器，但是对外表现为一个虚拟IP，主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

4. Keepalived体系主要模块及其作用

Keepalived的主要模块

作用

core模块

为Keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析

vrrp模块

是来实现VRRP协议的

check模块

负责健康检查，常见的方式有端口检查及URL检查

5. 企业集群的特点

一般企业集群需要满足的三个特点

1.负载均衡

2.健康检查

3.故障切换

6. 健康检查的作用

检查服务器

作用

节点服务器

如果发现有故障的节点就会将其隔离或者剔除集群，待其恢复后再重新加入到集群当中

负载均衡器

会定时检查主服务器的状态（包括主机和服务的状态），如果主服务器故障就自动切换到备服务器上，待主服务器恢复后再重新让主服务器去承载业务请求

7. Keeoalved实现原理

Keepalived采用VRRP热备份协议，实现Linux服务器的多机热备功能

VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案
· 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
· 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
· 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

8. VRRP虚拟路由冗余协议

可以实现一主多备的功能，从而解决单点故障
VRRP会把多台路由器组成一个虚拟路由器vrid，VRRP会生成一个虚拟路由器（包含虚拟IP和虚拟mac）
局域网内的用户不关心哪个是主、哪个是备，它们只用虚拟路由器的虚拟IP作为他们的网关
虚拟IP是承载在master路由器上的，也就是说实际的数据包是通过master进行转发的
master和backup是通过优先级来决定的，优先级最大的那台就是master
backup只是用来监听master定时发来的vrrp报文，如果超时未收到发来的vrrp报文，backup就会抢占master的地位，虚拟IP也会一起漂移到backup上

9. 多机热备

Keepalived可实现多机热备，每个热备组可有多台服务器

双机热备的故障切换是由虚拟IP地址的漂移来实现的，适用于各种因那个用服务器。
如图所示，实现基于Web的双机热备
漂移地址：192.168.10.72
主、备服务器：192.168.10.73/192.168.10.74
提供的应用服务：Web

二、LVS+Keepalived高可用群集的部署

1. 服务器及IP配置

主DR服务器：192.168.10.2

备DR服务器：192.168.10.3

Web服务器1：192.168.10.4

Web服务器2：192.168.10.5

VIP：192.168.10.88

客户端：192.168.10.1

各个服务器的环境

systemctl stop firewalld

setenforce 0

setenforce: SELinux is disabled

2. Keepalived安装与启动

(1)配置负载调度器

1.主负载调度器（192.168.10.2）

[root@master ~]# yum install -y ipvsadm keepalived

[root@master ~]# modprobe ip_vs

[root@master ~]# cd /etc/keepalived

[root@master keepalived]# cp keepalived.conf keepalived.conf.bak

[root@master keepalived]# vim keepalived.conf

10 smtp_server 127.0.0.1

第10行，修改，邮件服务指向本地

12 router_id LVS_01

第12行，修改，指定服务器（路由器）的名称，主备服务器须不同，这里主设置为LVS_01，备为LVS_02

14 #vrrp_strict

第14行，注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接

19 vrrp_instance VI_1 {

定义VRRP热备实例参数

20 state MASTER

第20行，修改，指定热备状态，主为MASTER，备为BACKUP

21 interface ens34

第21行，修改，指定承载VIP地址的物理接口

22 virtual_router_id 10

第22行，修改，指定虚拟路由器的ID号，每个热备组保持一致

#nopreempt

##默认为抢占模式，如果设置非抢占模式，主备都必须加上配置nopreempt

23 priority 100

第23行，修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90

24 advert_int 1

通告间隔秒数（心跳频率）

25 authentication {

定义认证信息，每个热备组保持一致

26 auth_type PASS

认证类型

27 auth_pass 123456

第27行，修改，指定验证密码，主备服务器保持一致

28 }

29 virtual_ipaddress {

指定群集VIP地址

30 192.168.10.88

31 }

32 }

34 virtual_server 192.168.10.88 80 {

第36行，修改，指定虚拟服务器地址（VIP）、端口，定义虚拟服务器和Web服务器池参数

35 delay_loop 6

健康检查的间隔时间，单位为秒

36 lb_algo rr

指定调度算法，轮询（rr）

37 lb_kind DR

第39行，修改，指定群集工作模式，这里默认是NAT，修改为直接路由模式（DR）

38 persistence_timeout 50

连接保持时间，单位为秒

39 protocol TCP

应用服务采用的是TCP协议

40

41 real_server 192.168.10.4 80 {

第43行，修改，指定第一个Web节点的地址、端口

42 weight 1

43 TCP_CHECK {

第45行，删除默认定义并添加以下健康检查方式

44 connect_port 80

添加检查的目标端口

45 connect_timeout 3

添加连接超时时间，单位为秒

46 nb_get_retry 3

添加重试次数

47 delay_before_retry 3

添加重试间隔

48 }

49 }

50 real_server 192.168.10.5 80 {

51 weight 1

52 TCP_CHECK {

53 connect_port 80

54 connect_timeout 3

55 nb_get_retry 3

56 delay_before_retry 3

57 }

58 }

59 }

[root@master keepalived]# systemctl start keepalived

[root@master keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:6c:be:4c brd ff:ff:ff:ff:ff:ff

inet 192.168.10.2/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet 192.168.10.88/32 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::1918:9ff4:831d:946a/64 scope link

valid_lft forever preferred_lft forever

2.备负载调度器（192.168.10.3）

[root@backup ~]# yum install -y ipvsadm keepalived

[root@backup ~]# modprobe ip_vs

[root@backup ~]# cd /etc/keepalived

[root@backup keepalived]# cp keepalived.conf keepalived.conf.bak

[root@backup keepalived]# vim keepalived.conf

10 smtp_server 127.0.0.1

第10行，修改，邮件服务指向本地

12 router_id LVS_02

第12行，修改，指定服务器（路由器）的名称，主备服务器须不同，这里主设置为LVS_01，备为LVS_02

14 #vrrp_strict

第14行，注释掉，取消严格遵守VRRP协议功能，否则VIP无法被连接

19 vrrp_instance VI_1 {

定义VRRP热备实例参数

20 state BACKUP

第20行，修改，指定热备状态，主为MASTER，备为BACKUP

21 interface ens34

第21行，修改，指定承载VIP地址的物理接口

22 virtual_router_id 10

第22行，修改，指定虚拟路由器的ID号，每个热备组保持一致

#nopreempt

##默认为抢占模式，如果设置非抢占模式，主备都必须加上配置nopreempt

23 priority 90

第23行，修改，指定优先级，数值越大优先级越高，这里设置主为100，备为90

24 advert_int 1

通告间隔秒数（心跳频率）

25 authentication {

定义认证信息，每个热备组保持一致

26 auth_type PASS

认证类型

27 auth_pass 123456

第27行，修改，指定验证密码，主备服务器保持一致

28 }

29 virtual_ipaddress {

指定群集VIP地址

30 192.168.10.88

31 }

32 }

34 virtual_server 192.168.10.88 80 {

第36行，修改，指定虚拟服务器地址（VIP）、端口，定义虚拟服务器和Web服务器池参数

35 delay_loop 6

健康检查的间隔时间，单位为秒

36 lb_algo rr

指定调度算法，轮询（rr）

37 lb_kind DR

第39行，修改，指定群集工作模式，这里默认是NAT，修改为直接路由模式（DR）

38 persistence_timeout 50

连接保持时间，单位为秒

39 protocol TCP

应用服务采用的是TCP协议

40

41 real_server 192.168.10.4 80 {

第43行，修改，指定第一个Web节点的地址、端口

42 weight 1

43 TCP_CHECK {

第45行，删除默认定义并添加以下健康检查方式

44 connect_port 80

添加检查的目标端口

45 connect_timeout 3

添加连接超时时间，单位为秒

46 nb_get_retry 3

添加重试次数

47 delay_before_retry 3

添加重试间隔

48 }

49 }

50 real_server 192.168.10.5 80 {

51 weight 1

52 TCP_CHECK {

53 connect_port 80

54 connect_timeout 3

55 nb_get_retry 3

56 delay_before_retry 3

57 }

58 }

59 }

因为主服务器仍然在线，VIP地址实际上仍然由主服务器控制，其他服务器处于备用状态，因此在备用服务器中将不会为ens34添加VIP地址

[root@backup keepalived]# systemctl start keepalived

[root@backup keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:a3:89:96 brd ff:ff:ff:ff:ff:ff

inet 192.168.10.3/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::e65e:1a75:6df7:81b9/64 scope link

valid_lft forever preferred_lft forever

测试keepalived有多方法，一种是直接测试IP地址，一种是查看日志记录，这里我们用IP地址，一种是ping -t VIP地址

将主服务器的Keepalived关闭，查看从服务器的IP地址

[root@master keepalived]# systemctl stop keepalived

[root@master keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:6c:be:4c brd ff:ff:ff:ff:ff:ff

inet 192.168.10.2/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::1918:9ff4:831d:946a/64 scope link

valid_lft forever preferred_lft forever

[root@backup keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:a3:89:96 brd ff:ff:ff:ff:ff:ff

inet 192.168.10.3/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet 192.168.10.88/32 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::e65e:1a75:6df7:81b9/64 scope link

valid_lft forever preferred_lft forever

可以看到，主服务器的VIP无了，从（备份）服务器添加了VIP地址

现在我们将服务器恢复

[root@master keepalived]# systemctl start keepalived

[root@master keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:6c:be:4c brd ff:ff:ff:ff:ff:ff

inet 192.168.10.2/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet 192.168.10.88/32 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::1918:9ff4:831d:946a/64 scope link

valid_lft forever preferred_lft forever

[root@backup keepalived]# ip addr show dev ens34

3: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 00:0c:29:a3:89:96 brd ff:ff:ff:ff:ff:ff

inet 192.168.10.3/24 brd 192.168.10.255 scope global ens34

valid_lft forever preferred_lft forever

inet6 fe80::e65e:1a75:6df7:81b9/64 scope link

valid_lft forever preferred_lft forever

(2)启动ipvsadm服务

1.主负载调度器（192.168.10.2）

[root@master ~]# ipvsadm-save > /etc/sysconfig/ipvsadm

[root@master ~]# systemctl start ipvsadm

[root@master ~]# systemctl restart keepalived

[root@master ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.10.88:80 rr persistent 50

-> 192.168.10.4:80 Route 1 0 0

-> 192.168.10.5:80 Route 1 0 0

TCP 192.168.42.149:80 rr persistent 50

把后面的web配置好之后，就是这样的

2.备负载调度器（192.168.10.3）

把后面的web配置好之后，就是这样的

(3)调整proc响应参数，关闭Linux内核的重定向参数响应

1.主负载调度器（192.168.10.2）

[root@master ~]# vim /etc/sysctl.conf

#末行写入

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

 

[root@master ~]# sysctl -p

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

2.备负载调度器（192.168.10.3）

[root@backup ~]# vim /etc/sysctl.conf

#末行写入

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

 

[root@backup ~]# sysctl -p

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

net.ipv4.conf.ens33.send_redirects = 0

3. 配置节点服务器

1.web_server1（192.168.10.4）

[root@web_server1 ~]# yum install -y httpd

[root@web_server1 ~]# systemctl start httpd

[root@web_server1 ~]# echo "<h1>this is test1 web</h1>" > /var/www/html/index.html

[root@web_server1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

ONBOOT=yes

IPADDR=192.168.10.88

NETMASK=255.255.255.255

[root@web_server1 ~]# systemctl restart network

[root@web_server1 ~]# route add -host 192.168.10.88 dev lo:0

[root@web_server1 ~]# vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

[root@web_server1 ~]# sysctl -p

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

2.web_server2（192.168.10.5）

[root@web_server2 ~]# yum install -y httpd

[root@web_server2 ~]# systemctl start httpd

[root@web_server2 ~]# echo "<h1>this is test2 web</h1>" > /var/www/html/index.html

[root@web_server2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

DEVICE=lo:0

ONBOOT=yes

IPADDR=192.168.10.88

NETMASK=255.255.255.255

[root@web_server2 ~]# systemctl restart network

[root@web_server2 ~]# route add -host 192.168.10.88 dev lo:0

[root@web_server2 ~]# vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

[root@web_server2 ~]# sysctl -p

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

4. 浏览器访问测试

1.在客户端访问http://192.168.10.88

2.再在主服务器关闭keepalived服务(systemctl stop keepalived)后再测试

如果刷了很久都没刷到1，那么强制把2关了，界面会自动调整

高可用和负载均衡不同，高可用是高可靠性，而负载均衡是连接数保持持平

在主服务器关闭keepalived服务的过程中，从服务器的日志文件也发生了变化，先从BACKUP变成MASTER，待主服务器恢复后，状态又变回BACKUP

以下是从MASTER变回BACKUP

posted @   wang-a  阅读(71)  评论(0)  编辑  收藏  举报
相关博文：
·  Linux--LVS负载均衡群集
·  Linux--LVS-DR群集
·  LVS+Keepalived群集
·  LVS+Keepalived高可用负载均衡群集
·  LVS+keepalived群集
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
点击右上角即可分享
微信分享提示
AI IDE Trae