冰河，能不能讲讲如何实现MySQL数据存储的无限扩容？

写在前面

随着互联网的高速发展，企业中沉淀的数据也越来越多，这就对数据存储层的扩展性要求越来越高。当今互联网企业中，大部分企业使用的是MySQL来存储关系型数据。如何实现MySQL数据存储层的高度可扩展性成为了互联网企业必须要解决的问题。那么，如何实现真正意义上的MySQL无限扩容呢？今天，冰河就来以实战的角度为大家讲讲如何实现MySQL数据库的无限扩容。

文章已收录到：https://github.com/sunshinelyz/technology-binghe 和 https://gitee.com/binghe001/technology-binghe，小伙伴们别忘记给个小星星哦~~

概述

本文是在《海量数据架构下如何保证Mycat的高可用？》一文的基础上进一步扩展，从而实现数据存储层每一个环节的高可用，从而实现MySQL的无限扩容。

要解决的问题

在《海量数据架构下如何保证Mycat的高可用？》一文中，我们的架构图如下：

由上图可以看出，HAProxy存在单点隐患，一旦这个HAProxy服务宕机，那么整个服务架构将不可用。那么，如何解决HAProxy存在的单点隐患问题呢？这就是这篇博文要解决的问题。

软件版本

• 操作系统：CentOS-6.8-x86_64
• JDK版本：jdk1.8
• HAProxy版本：haproxy-1.5.19.tar.gz
• Mycat版本：Mycat-server-1.6(自行下载源码编译)
• keepalived版本:keepalived-1.2.18.tar.gz
• MySQL版本：mysql-5.7.tar.gz

部署规划

高可用负载均衡集群部署架构

上图中简化了数据存储部分的架构细节。例如，其中对于架构中的每一个部分，我们都可以单独进行扩展，独立成集群对外提供服务，而不会存在单点故障的问题。

图解说明：

(1) HAProxy 实现了 Mycat 多节点的集群高可用和负载均衡， 而 HAProxy 自身的高可用则可以通过Keepalived 来实现。 因此， HAProxy 主机上要同时安装 HAProxy 和 Keepalived， Keepalived 负责为该服务器抢占 vip（虚拟 ip，图中的 192.168.209.130），抢占到 vip 后，对该主机的访问可以通过原来的 ip（192.168.209.135）访问，也可以直接通过 vip（192.168.209.130）访问。

(2) Keepalived 抢占 vip 有优先级， 在 keepalived.conf 配置中的 priority 属性决定。但是一般哪台主机上的 Keepalived服务先启动就会抢占到 vip，即使是 slave，只要先启动也能抢到（要注意避免 Keepalived的资源抢占问题）。

(3) HAProxy 负责将对 vip 的请求分发到 Mycat 集群节点上， 起到负载均衡的作用。 同时 HAProxy 也能检测到 Mycat 是否存活， HAProxy 只会将请求转发到存活的 Mycat 上。

(4) 如果 Keepalived+HAProxy 高可用集群中的一台服务器宕机， 集群中另外一台服务器上的 Keepalived会立刻抢占 vip 并接管服务， 此时抢占了 vip 的 HAProxy 节点可以继续提供服务。

(5) 如果一台 Mycat 服务器宕机， HAPorxy 转发请求时不会转发到宕机的 Mycat 上，所以 Mycat 依然可用。

综上： Mycat 的高可用及负载均衡由 HAProxy 来实现，而 HAProxy 的高可用，由 Keepalived 来实现。

HAProxy 节点 2 的部署

HAProxy 主机 2（liuyazhuang136, 192.168.209.136）的安装部署请参考博文《海量数据架构下如何保证Mycat的高可用？》，注意配置文件的调整：多节点部署时 haproxy.cfg 配置文件中的 node 、 description 配置的值要做相应调整。

HAProxy 主机 2（liuyazhuang136, 192.168.209.136）上的HAProxy配置如下：

## global配置中的参数为进程级别的参数，通常与其运行的操作系统有关

global

log 127.0.0.1 local0 info ## 定义全局的syslog服务器，最多可以定义2个

### local0是日志设备，对应于/etc/rsyslog.conf中的配置，默认回收info的日志级别

#log 127.0.0.1 local1 info

chroot /usr/share/haproxy ## 修改HAProxy的工作目录至指定的目录并在放弃权限之前执行

### chroot() 操作，可以提升 haproxy 的安全级别

group haproxy ## 同gid，不过这里为指定的用户组名

user haproxy ## 同uid，但这里使用的为用户名

daemon ## 设置haproxy后台守护进程形式运行

nbproc 1 ## 指定启动的haproxy进程个数，

### 只能用于守护进程模式的haproxy；默认为止启动1个进程，

### 一般只在单进程仅能打开少数文件描述符的场中中才使用多进程模式

maxconn 4096 ## 设定每个haproxy进程所接受的最大并发连接数，

### 其等同于命令行选项"-n"，"ulimit-n"自动计算的结果正式参照从参数设定的

# pidfile /var/run/haproxy.pid ## 进程文件（默认路径 /var/run/haproxy.pid）

node liuyazhuang136 ## 定义当前节点的名称，用于HA场景中多haproxy进程共享同一个IP地址时

description liuyazhuang136 ## 当前实例的描述信息

## defaults：用于为所有其他配置段提供默认参数，这默认配置参数可由下一个"defaults"所重新设定

defaults

log global ## 继承global中log的定义

mode http ## mode:所处理的模式 (tcp:四层 , http:七层 , health:状态检查,只会返回OK)

### tcp: 实例运行于纯tcp模式，在客户端和服务器端之间将建立一个全双工的连接，

#### 且不会对7层报文做任何类型的检查，此为默认模式

### http:实例运行于http模式，客户端请求在转发至后端服务器之前将被深度分析，

#### 所有不与RFC模式兼容的请求都会被拒绝

### health：实例运行于health模式，其对入站请求仅响应“OK”信息并关闭连接，

#### 且不会记录任何日志信息 ，此模式将用于相应外部组件的监控状态检测请求

option httplog

retries 3

option redispatch ## serverId对应的服务器挂掉后,强制定向到其他健康的服务器

maxconn 2000 ## 前端的最大并发连接数（默认为2000）

### 其不能用于backend区段，对于大型站点来说，可以尽可能提高此值以便让haproxy管理连接队列，

### 从而避免无法应答用户请求。当然，此最大值不能超过“global”段中的定义。

### 此外，需要留心的是，haproxy会为每个连接维持两个缓冲，每个缓存的大小为8KB，

### 再加上其他的数据，每个连接将大约占用17KB的RAM空间，这意味着经过适当优化后 ，

### 有着1GB的可用RAM空间时将维护40000-50000并发连接。

### 如果指定了一个过大值，极端场景中，其最终所占据的空间可能会超过当前主机的可用内存，

### 这可能会带来意想不到的结果，因此，将其设定一个可接受值放为明智绝对，其默认为2000

timeout connect 5000ms ## 连接超时(默认是毫秒,单位可以设置us,ms,s,m,h,d)

timeout client 50000ms ## 客户端超时

timeout server 50000ms ## 服务器超时

## HAProxy的状态信息统计页面

listen admin_stats

bind :48800 ## 绑定端口

stats uri /admin-status ##统计页面

stats auth admin:admin ## 设置统计页面认证的用户和密码，如果要设置多个，另起一行写入即可

mode http

option httplog ## 启用日志记录HTTP请求

## listen: 用于定义通过关联“前端”和“后端”一个完整的代理，通常只对TCP流量有用

listen mycat_servers

bind :3307 ## 绑定端口

mode tcp

option tcplog ## 记录TCP请求日志

option tcpka ## 是否允许向server和client发送keepalive

option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www ## 后端服务状态检测

### 向后端服务器的48700端口（端口值在后端服务器上通过xinetd配置）发送 OPTIONS 请求

### (原理请参考HTTP协议) ，HAProxy会根据返回内容来判断后端服务是否可用.

### 2xx 和 3xx 的响应码表示健康状态，其他响应码或无响应表示服务器故障。

balance roundrobin ## 定义负载均衡算法，可用于"defaults"、"listen"和"backend"中,默认为轮询方式

server mycat_01 192.168.209.133:8066 check port 48700 inter 2000ms rise 2 fall 3 weight 10

server mycat_02 192.168.209.134:8066 check port 48700 inter 2000ms rise 2 fall 3 weight 10

## 格式：server <name> <address>[:[port]] [param*]

### serser 在后端声明一个server，只能用于listen和backend区段。

### <name>为此服务器指定的内部名称，其将会出现在日志及警告信息中

### <address>此服务器的IPv4地址，也支持使用可解析的主机名，但要在启动时需要解析主机名至响应的IPV4地址

### [:[port]]指定将客户端连接请求发往此服务器时的目标端口，此为可选项

### [param*]为此server设定的一系列参数，均为可选项，参数比较多，下面仅说明几个常用的参数：

#### weight:权重，默认为1，最大值为256，0表示不参与负载均衡

#### backup:设定为备用服务器，仅在负载均衡场景中的其他server均不可以启用此server

#### check:启动对此server执行监控状态检查，其可以借助于额外的其他参数完成更精细的设定

#### inter:设定监控状态检查的时间间隔，单位为毫秒，默认为2000，

##### 也可以使用fastinter和downinter来根据服务器端专题优化此事件延迟

#### rise:设置server从离线状态转换至正常状态需要检查的次数（不设置的情况下，默认值为2）

#### fall:设置server从正常状态转换至离线状态需要检查的次数（不设置的情况下，默认值为3）

#### cookie:为指定server设定cookie值，此处指定的值将会在请求入站时被检查，

##### 第一次为此值挑选的server将会被后续的请求所选中，其目的在于实现持久连接的功能

#### maxconn:指定此服务器接受的最大并发连接数，如果发往此服务器的连接数目高于此处指定的值，

#####其将被放置于请求队列，以等待其他连接被释放

HAProxy 节点 1 的状态信息页：http://192.168.209.135:48800/admin-status

HAProxy 节点 2 的状态信息页：http://192.168.209.136:48800/admin-status

Keepalived 介绍

官网： http://www.keepalived.org/

Keepalived 是一种高性能的服务器高可用或热备解决方案， Keepalived 可以用来防止服务器单点故障的发生，通过配合 Haproxy 可以实现 web 前端服务的高可用。Keepalived 以 VRRP 协议为实现基础，用 VRRP 协议来实现高可用性(HA)。 VRRP(Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议， VRRP 协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器 IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外 IP 的路由器如果工作正常的话就是 MASTER，或者是通过算法选举产生。 MASTER 实现针对虚拟路由器 IP 的各种网络功能，如 ARP 请求， ICMP，以及数据的转发等；其他设备不拥有该虚拟 IP，状态是 BACKUP，除了接收 MASTER 的VRRP 状态通告信息外，不执行对外的网络功能。当主机失效时， BACKUP 将接管原先 MASTER 的网络功能。VRRP 协议使用多播数据来传输 VRRP 数据， VRRP 数据使用特殊的虚拟源 MAC 地址发送数据而不是自身网卡的 MAC 地址， VRRP 运行时只有 MASTER 路由器定时发送 VRRP 通告信息，表示 MASTER 工作正常以及虚拟路由器 IP(组)， BACKUP 只接收 VRRP 数据，不发送数据，如果一定时间内没有接收到 MASTER 的通告信息，各 BACKUP 将宣告自己成为 MASTER，发送通告信息，重新进行 MASTER 选举状态。

Keepalived 的安装

注意：需要在192.168.209.135、 192.168.209.136两台服务器上安装Keepalived。

Keepalived （http://www.keepalived.org/download.html ）

上传或下载 keepalived

上传或下载 keepalived（keepalived-1.2.18.tar.gz） 到 /usr/local/src 目录

解压安装

安装 keepalived 需要用到 openssl

# yum install gcc gcc-c++ openssl openssl-devel
# cd /usr/local/src
# tar -zxvf keepalived-1.2.18.tar.gz
# cd keepalived-1.2.18
# ./configure --prefix=/usr/local/keepalived
# make && make install

将 keepalived 安装成 Linux 系统服务

因为没有使用 keepalived 的默认路径安装（默认是/usr/local） ,安装完成之后，需要做一些工作
复制默认配置文件到默认路径

# mkdir /etc/keepalived
# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

复制 keepalived 服务脚本到默认的地址

# cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/
# ln -s /usr/local/keepalived/sbin/keepalived /sbin/

设置 keepalived 服务开机启动

# chkconfig keepalived on

修改 Keepalived 配置文件

(1) MASTER 节点配置文件（192.168.209.135）

! Configuration File for keepalived
global_defs {
## keepalived 自带的邮件提醒需要开启 sendmail 服务。建议用独立的监控或第三方 SMTP
	router_id liuyazhuang135 ## 标识本节点的字条串，通常为 hostname
}
## keepalived 会定时执行脚本并对脚本执行的结果进行分析，动态调整 vrrp_instance 的优先级。
## 如果脚本执行结果为 0，并且 weight 配置的值大于 0，则优先级相应的增加。
## 如果脚本执行结果非 0，并且 weight 配置的值小于 0，则优先级相应的减少。
## 其他情况，维持原本配置的优先级，即配置文件中 priority 对应的值。
vrrp_script chk_haproxy {
	script "/etc/keepalived/haproxy_check.sh" ## 检测 haproxy 状态的脚本路径
	interval 2 ## 检测时间间隔
	weight 2 ## 如果条件成立，权重+2
}
## 定义虚拟路由， VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
	state BACKUP ## 默认主设备（priority 值大的）和备用设备（priority 值小的）都设置为 BACKUP，
	## 由 priority 来控制同时启动情况下的默认主备，否则先启动的为主设备
	interface eth3 ## 绑定虚拟 IP 的网络接口，与本机 IP 地址所在的网络接口相同，我的是 eth3
	virtual_router_id 35 ## 虚拟路由的 ID 号，两个节点设置必须一样，可选 IP 最后一段使用,
	## 相同的 VRID 为一个组，他将决定多播的 MAC 地址
	priority 120 ## 节点优先级，值范围 0-254， MASTER 要比 BACKUP 高
	nopreempt ## 主设备（priority 值大的）配置一定要加上 nopreempt，否则非抢占也不起作用
	advert_int 1 ## 组播信息发送间隔，两个节点设置必须一样，默认 1s
	## 设置验证信息，两个节点必须一致
	authentication {
		auth_type PASS
		auth_pass 1111 ## 真实生产，按需求对应该过来
	}
	## 将 track_script 块加入 instance 配置块
	track_script {
		chk_haproxy ## 检查 HAProxy 服务是否存活
	}
	## 虚拟 IP 池, 两个节点设置必须一样
	virtual_ipaddress {
		192.168.209.130 ## 虚拟 ip，可以定义多个，每行一个
	}
}

(2)BACKUP 节点配置文件（192.168.209.136）

! Configuration File for keepalived
global_defs {
	router_id liuyazhuang136
}
vrrp_script chk_haproxy {
	script "/etc/keepalived/haproxy_check.sh"
	interval 2
	weight 2
}
vrrp_instance VI_1 {
	state BACKUP
	interface eth3
	virtual_router_id 35
	priority 110
	advert_int 1
	authentication {
		auth_type PASS
		auth_pass 1111
	}
	track_script {
		chk_haproxy
	}
	virtual_ipaddress {
		192.168.209.130
	}
}

特别注意： 如果非抢占模式不生效， 在 Keepalived 的故障节点恢复后会再次导抢占 vip，从而因 vip 切换而闪断带来的风险（视频解说）。 按以上配置，配置了 Keepalived 非抢占模式， 配置及注意点如下：
(1) 主设备、 从设备中的 state 都设置为 BACKUP
(2) 主设备、从设备中都不要配置 mcast_src_ip （本机 IP 地址）
(3) 默认主设备（priority 值大的 Keepalived 节点） 配置一定要加上 nopreempt，否则非抢占不起作用
(4) 防火墙配置允许组播（主、备两台设备上都需要配置， keepalived 使用 224.0.0.18 作为 Master 和Backup 健康检查的通信 IP）

# iptables -I INPUT -i eth3 -d 224.0.0.0/8 -p vrrp -j ACCEPT
# iptables -I OUTPUT -o eth3 -d 224.0.0.0/8 -p vrrp -j ACCEPT
（eth3 为主机的网卡设备名称，生产环境服务器可以用独立网卡来处理组播和心跳检测等）
# service iptables save
重启防火墙：
# service iptables restart

编写 Haproxy 状态检测脚本

我们编写的脚本为/etc/keepalived/haproxy_check.sh (已在 keepalived.conf 中配置)
脚本要求：如果 haproxy 停止运行，尝试启动，如果无法启动则杀死本机的 keepalived 进程，keepalied将虚拟 ip 绑定到 BACKUP 机器上。

内容如下：

# mkdir -p /usr/local/keepalived/log
# vi /etc/keepalived/haproxy_check.sh

haproxy_check.sh脚本内容如下：

#!/bin/bash
START_HAPROXY="/etc/rc.d/init.d/haproxy start"
STOP_HAPROXY="/etc/rc.d/init.d/haproxy stop"
LOG_FILE="/usr/local/keepalived/log/haproxy-check.log"
HAPS=`ps -C haproxy --no-header |wc -l`
date "+%Y-%m-%d %H:%M:%S" >> $LOG_FILE
echo "check haproxy status" >> $LOG_FILE
if [ $HAPS -eq 0 ];then
echo $START_HAPROXY >> $LOG_FILE
$START_HAPROXY >> $LOG_FILE 2>&1
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
echo "start haproxy failed, killall keepalived" >> $LOG_FILE
killall keepalived
fi
fi

保存后，给脚本赋执行权限：

# chmod +x /etc/keepalived/haproxy_check.sh

启动 Keepalived

# service keepalived start
Starting keepalived: [ OK ]

Keepalived 服务管理命令：

停止： service keepalived stop
启动： service keepalived start
重启： service keepalived restart
查看状态： service keepalived status

高可用测试

（1）关闭 192.168.209.135 中的 Haproxy， Keepalived 会将它重新启动

# service haproxy stop

（2）关闭 192.168.209.135 中的 Keepalived， VIP（192.168.209.130） 会被 192.168.209.136 抢占

# service keepalived stop

由上图可知：Keepalived 停止后， 192.168.209.135 节点的网络接口中的 VIP（192.168.209.130） 将消失

此时，由上图可知：在192.168.209.136节点的网络接口中会出现 VIP（192.168.209.130）。

查看此时 VIP 对应的 MAC， Windows 下使用 CMD 命令查看：

说明此时 VIP 已经漂移到物理主机 192.168.209.136上了

再通过 VIP(192.168.209.130) 来访问 Haproxy 集群， 访问到的也是 192.168.209.136

（3）重新启动 192.168.209.135 中的 Keepalived

重新启动 192.168.209.135 中的 Keepalived， vip（192.168.209.130）保留在 192.168.209.136 主机上， 不会出现 135 启动抢占 vip 的情况。

# service keepalived start

（4）模拟抢占了 vip 的节点（192.168.209.136） 中的 HAProxy 故障或启动失败

方式：把 192 节点中的 haproxy.cfg 文件重命名为 haproxy.cfg_bak， 并把 haproxy 服务进行 kill 掉，此时 keepalived 会尝试去启动 haproxy，会由于找不到配置文件而启动失败，此时就会进行 haproxy_check.sh脚本中的 killall keepalived 命令，结束 keepalived 进行。随后就是 192.168.209.135 节点重新抢占 vip

说明此时 VIP 已经漂移到物理主机 192.168.209.135上了

再通过 VIP(192.168.209.130) 来访问 Haproxy 集群， 访问到的也是 192.168.209.135

验证数据库访问

通过 vip 访问数据库、验证 vip 切换后的数据库访问

（1）命令行访问数据库

（2）Navicat访问数据库

至此，Mycat高可用负载均衡集群的实现（HAProxy + Keepalived + Mycat）搭建完毕

大家可以到链接http://download.csdn.net/detail/l1028386804/9915621下载搭建Mycat高可用负载均衡集群的实现（HAProxy + Keepalived + Mycat）使用的Keepalived

其他推荐文章

• 《海量数据架构下如何保证Mycat的高可用？》
• 《冰河，能讲讲Mycat如何实现MySQL的读写分离吗？》
• 《MySQL如何实现万亿级数据存储？》
• 《Mycat核心开发者带你轻松掌握Mycat路由转发！！》
• 《Mycat核心开发者带你看尽Mycat三大核心配置文件！！》
• 《作为Mycat核心开发者，怎能不来一波Mycat系列文章？》

重磅福利

微信搜一搜【冰河技术】微信公众号，关注这个有深度的程序员，每天阅读超硬核技术干货，公众号内回复【PDF】有我准备的一线大厂面试资料和我原创的超硬核PDF技术文档，以及我为大家精心准备的多套简历模板（不断更新中），希望大家都能找到心仪的工作，学习是一条时而郁郁寡欢，时而开怀大笑的路，加油。如果你通过努力成功进入到了心仪的公司，一定不要懈怠放松，职场成长和新技术学习一样，不进则退。如果有幸我们江湖再见！

另外，我开源的各个PDF，后续我都会持续更新和维护，感谢大家长期以来对冰河的支持！！