MySQL Cluster集群搭建与测试
概述
MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本，其研发设计的初衷就是要满足许多行业里的最严酷应用要求，这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群，通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。
实际上，MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机，每个都跑一个或者多个进程，这可能包括一个MySQL服务器，一个数据节点，一个管理服务器和一个专有的一个数据访问程序。
MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图：
MySQL从结构看，由3类节点(计算机或进程)组成，分别是：
管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。
数据节点:MySQL Cluster的核心，存储数据、日志，提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证，DB节点增加时，集群的处理速度会变慢。
SQL节点(API):用于访问MySQL Cluster数据，提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量，该节点 可以部署在Web应用服务器上，也可以部署在专用的服务器上，也开以和DB部署在同一台服务器上。
NDB引擎
MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎，这样做的好处是速度快， 没有磁盘I/O的瓶颈，但是由于是基于内存的，所以数据库的规模受系统总内存的限制， 如果运行NDB的MySQL服务器一定要内存够大，比如4G, 8G, 甚至16G。NDB引擎是分布式的，它可以配置在多台服务器上来实现数据的可靠性和扩展性，理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。
缺陷
- 基于内存，数据库的规模受集群总内存的大小限制
- 基于内存，断电后数据可能会有数据丢失，这点还需要通过测试验证。
- 多个节点通过网络实现通讯和数据同步、查询等操作，因此整体性受网络速度影响，因此速度也比较慢
优点
- 多个节点之间可以分布在不同的地理位置，因此也是一个实现分布式数据库的方案。
- 扩展性很好，增加节点即可实现数据库集群的扩展。
- 冗余性很好，多个节点上都有完整的数据库数据，因此任何一个节点宕机都不会造成服务中断。
实现高可用性的成本比较低，不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现，NDB 只要有足够的内存就能实现。
本文将搭建一个最简化的MySQL Cluster系统，配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点，这五个结点会分别安装在五个虚拟机上，虚拟机的名称和IP如下所示：
一、公共配置
安装MySQL-Cluster（确保环境中已安装cmake，ncurses-devel，jdk1.8+）
mysql-cluster-gpl-7.4.12.tar.gz
关闭防火墙，selinux
二、配置管理结点
1. 配置config.ini配置文件
mkdir /var/lib/mysql-cluster
cd /var/lib/mysql-cluster
vi config.ini
[ndbd default]
NoOfReplicas=2 #存储节点的数量
DataMemory=200M #每个数据节点中给数据分配的内存
IndexMemory=20M #每个数据节点中给索引分配的内存
[ndb_mgmd] #配置管理节点
NodeId=1
hostname=10.80.3.89
datadir=/var/lib/mysql-cluster #管理节点数据(日志)目录
[ndbd] #数据节点配置
NodeId=2
hostname=10.80.3.93
datadir=/usr/local/mysql/data #数据节点目录
[ndbd]
NodeId=3
hostname=10.29.1.180
datadir=/usr/local/mysql/data
[mysqld]
NodeId=4
hostname=10.80.3.90
[mysqld]
NodeId=5
hostname=10.29.1.181
[mysqld] #一定要留一个空的，以备扩展使用，否则会出现Failed to allocate nodeid No free node id found for ndbd(NDB) 错误
2. 安装管理结点
安装管理节点，不需要mysqld二进制文件，只需要MySQL Cluster服务端程序(ndb_mgmd)和监听客户端程序(ndb_mgm)
cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin
cd /usr/local/bin
chmod +x ndb_mgm*
三、配置数据结点
1. 添加mysql组和用户
groupadd mysql
useradd -g mysql mysql
2. 配置my.cnf配置文件
vi /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[mysql_cluster]
ndb-connectstring=10.80.3.89
3. 创建系统数据库
cd /usr/local/mysql
mkdir sock
sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 设置数据目录
chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .
5. 配置MySQL服务
cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server
四、配置SQL结点
1. 添加mysql组和用户
groupadd mysql
useradd -g mysql mysql
2. 配置my.cnf配置文件
vi /etc/my.cnf
[client]
socket=/usr/local/mysql/sock/mysql.sock
[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
ndb-connectstring=10.80.3.89
[mysql_cluster]
ndb-connectstring=10.80.3.89
3. 创建系统数据库
cd /usr/local/mysql
mkdir sock
sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 设置数据目录
chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .
5. 配置MySQL服务
cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server
五、Cluster环境启动
注意启动顺序：管理节点->数据节点->SQL节点
1. 启动管理结点
ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial
监听客户端
ndb_mgm
2. 启动数据结点
首次启动，则需要添加--initial参数，以便进行NDB节点的初始化工作。在以后的启动过程中，则是不能添加该参数的，否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。
/usr/local/mysql/bin/ndbd --initial
3. 启动SQL结点
/usr/local/mysql/bin/mysqld_safe --user=mysql &
至此集群启动成功
六、集群测试
1. 测试一
现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。
在SQL结点1（10.80.3.90）上执行
/usr/local/mysql/bin/mysql -uroot
mysql>show databases;
mysql>create database aa;
mysql>use aa;
mysql>create table test (i int) engine=ndb; //这里必须指定数据库表的引擎为NDB,否则同步失败
mysql> insert into test values(1);
mysql> select * from test;
然后在SQL结点2（10.29.1.181）上看数据是否同步过来了
2. 测试二
模拟SQL节点单点故障
关闭SQL节点2，在SQL节点1上添加数据，然后启动SQL节点2，发现数据已经同步到SQL节点2。
3.测试三
模拟数据节点单点故障
关闭数据节点2，在SQL节点1上添加数据，发现数据已经同步到SQL节点2。
七、关闭集群
1. 关闭管理节点和数据节点，只需要在管理节点执行：
ndb_mgm -e shutdown
2. 然后关闭Sql节点，分别在2个节点里运行：
