2-20 MySQL集群搭建实现高可用
MySQL集群概述和安装环境
MySQL Cluster是MySQL适合于分布式计算环境的高实用、高冗余版本.Cluster的汉语是“集群”的意思.它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器.
MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster .通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求.此外,由于每个组件有自己的内存和磁盘,不存在单点故障.
mysql 集群架构
上图是mysql的一种常见集群
SQL节点: 给上层应用层提供sql访问.
管理节点（MGM）: 管理整个集群. 启动,关闭集群. 通过ndb_mgmd命令启动集群
存储/数据节点: 保存cluster中的数据.
数据节点,可以提供副本.实现数据冗余.
NDB引擎:是一种 “内存中”的存储引擎 ,它具有可用性高和数据一致性好的特点.
拓展:NDB引擎介绍
NDB引擎
MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎,这样做的好处是速度快, 没有磁盘I/O的瓶颈,但是由于是基于内存的,所以数据库的规模受系统总内存的限制, 如果运行NDB的MySQL服务器一定要内存够大,比如4G, 8G, 甚至16G.NDB引擎是分布式的,它可以配置在多台服务器上来实现数据的可靠性和扩展性,理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题.
缺陷
·基于内存,数据库的规模受集群总内存的大小限制
·基于内存,断电后数据可能会有数据丢失,这点还需要通过测试验证.
·多个节点通过网络实现通讯和数据同步、查询等操作,因此整体性受网络速度影响,因此速度也比较慢
优点
·多个节点之间可以分布在不同的地理位置,因此也是一个实现分布式数据库的方案.
·扩展性很好,增加节点即可实现数据库集群的扩展.
·冗余性很好,多个节点上都有完整的数据库数据,因此任何一个节点宕机都不会造成服务中断.
Mysql cluster的下载地址:http://dev.mysql.com/downloads/cluster/
在我们做的实验中mysql cluster集群各机器角色如下分配:
mysql管理结点:xiaogan63.cn IP:192.168.31.63
mysql 数据结点:xiaogan63.cn IP:192.168.31.63
mysql 数据结点:xiaogan64.cn IP:192.168.31.64
msyql SQL结点:xiaogan63.cn IP:192.168.31.63
msyql SQL结点:xiaogan64.cn IP:192.168.31.64
将MySQL-Cluster-gpl-7.4.13-1.el6.x86_64.rpm-bundle.tar
上传到xiaogan63和xiaogan64上.
实战:MySQL集群搭建
环境清理以及安装
xiaogan63和xiaogan64上执行下面内容:
首先我们要清除旧版本,然后安装mysql cluster,最后是文件权限管理.
1.mysql旧版本清除
首先使用如下命令来清理之前操作系统自带的mysql安装:
yum -y remove mysql
然后使用如下命令:
rpm -qa | grep mysql*
对于找到的2个剩余mysql包,请按照如下的命令格式予以删除:
rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
2．mysql cluster版本安装准备
将MySQL-Cluster-gpl-7.4.13-1.el6.x86_64.rpm-bundle.tar放到某个目录下（譬如/package) 下面,并且执行如下命令解压:
tar -xf MySQL-Cluster-gpl-7.4.13-1.el6.x86_64.rpm-bundle.tar
# 当前时间不能晚于下载文件的时间,不然会报错
# 避免报错,可以先用ntpdate 同步下时间
# ntpdate time.windows.com
# rpm -ivh /mnt/Packages/ntpdate-*
得到如下文件清单:
MySQL-Cluster-client-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-devel-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-embedded-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-gpl-7.4.13-1.el6.x86_64.rpm-bundle.tar
MySQL-Cluster-server-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-shared-compat-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-shared-gpl-7.4.13-1.el6.x86_64.rpm
MySQL-Cluster-test-gpl-7.4.13-1.el6.x86_64.rpm
3．创建文件夹
（分如下4个类来创建对应的文件夹）
数据结点存放数据:mkdir /var/lib/mysql
管理节点:mkdir /var/lib/mysql-cluster SQL节点:可不用 文件夹授权
进程DIR: mkdir /var/run/mysqld
管理结点运行目录: /usr/mysql-cluster
使用如下的命令来变更权限保证可写入:
[root@xiaogan63 ~]# useradd -M -s /sbin/nologin mysql
[root@xiaogan63 ~]# chown mysql:mysql -R /var/lib/mysql
[root@xiaogan63 ~]# chown mysql:mysql -R /var/lib/mysql-cluster/
[root@xiaogan63 ~]# chown mysql:mysql -R /var/run/mysqld/
[root@xiaogan63 ~]# chown mysql:mysql -R /usr/mysqld-cluster/
# 64中不需要创建/usr/mysqld-cluster
4．安装mysql集群软件包（客户端）
rpm -ivh MySQL-Cluster-server-gpl-7.4.13-1.el6.x86_64. rpm
rpm -ivh MySQL-Cluster-client-gpl-7.4.13-1.el6.x86_64. rpm
注意:MySQL-Cluster-server和MySQL-Cluster-client 的关系和mysql-server同mysql 包的关系一样.数据结点存放数据: /var/lib/mysql 会自动创建.
会生成两个主要的命令文件:ndb_mgmd 和ndb_mgm
[root@xiaogan63 ~]# which ndb_mgm
/usr/bin/ndb_mgm
[root@xiaogan63 ~]# rpm -qf /usr/bin/ndb_mgm
MySQL-Cluster-server-gpl-7.4.13-1.el6.x86_64
[root@xiaogan63 ~]# which ndb_mgmd
/usr/sbin/ndb_mgmd
[root@xiaogan63 ~]# rpm -qf /usr/sbin/ndb_mgmd
MySQL-Cluster-server-gpl-7.4.13-1.el6.x86_64
注意:当安装完毕MySQL-Cluster-server-gpl包后,将出现如下提示信息,提醒我们整个cluster安装后的初次超级账户密码存在/root/.mysql_secret这个文件当中.
---------------------------------------------------------------------------------------------------------
5．查看mysql root用户密码
[root@xiaogan64 ~]# cat /root/.mysql_secret
# The random password set for the root user at Wed Apr 1 21:10:53 2015 (local time): NSblG9hMkThTgFHY
搭建mysql集群
经过复杂的初始配置,我们终于要搭建集群了.我们按配置,启动,测试的顺序来整理这一部分.
各个机器上的配置
我们先将需求配置到各台机器上
1．xiaogan63创建管理结点上配置文件
[root@xiaogan63 ~]# cd /var/lib/mysql-cluster
[root@xiaogan63 mysql-cluster]# vi config.ini #写入以下内容
[ndbd default]
NoOfReplicas=2 #数据写入数量.2表示两份
DataMemory=200M
IndexMemory=100M #索引给100M
[ndb_mgmd]
id=1
datadir=/var/lib/mysql-cluster # 管理结点的日志
HostName=192.168.31.63 #管理结点的IP地址.本机IP
###### data node options: #存储结点
[ndbd]
HostName=192.168.31.63
DataDir=/var/lib/mysql #mysql数据存储路径
id=2
[ndbd]
HostName=192.168.31.64
DataDir=/var/lib/mysql #mysql数据存储路径
id=3
# SQL node options: #关于SQL结点
[mysqld]
HostName=192.168.31.63
id=4
[mysqld]
HostName=192.168.31.64
id=5
在这个文件里,我们分别给五个节点分配了ID,这有利于更好的管理和区分各个节点.当然,要是不指定,MySQL也会动态分配一个
2．xiaogan63数据节点+SQL节点配置文档
[root@xiaogan63 /]# vim /etc/my.cnf #写入以下内容
[mysqld]
datadir=/var/lib/mysql #mysql数据存储路径
# 注:如果xiaogan63 只做 SQL节点,则配置文档 没有datadir这一项
# 说明:数据节点和SQL结点配置文件区别 ,就多一行
# 数据结点有:datadir=/var/lib/mysql#mysql数据存储路径.
# SQL节点上没有.
ndbcluster #启动ndb引擎
ndb-connectstring=192.168.31.63 # 管理节点IP地址
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[mysql_cluster]
ndb-connectstring=192.168.31.63 #管理节点IP地址
3．xiaogan64配置数据结点和SQL结点
[root@xiaogan63 ~]# scp /etc/my.cnf 192.168.31.64:/etc/
注意:xiaogan63和xiaogan64的/my.cnf的内容一样,可直接从xiaogan63复制过去
MySQL Cluster启动
初次启动命令以及用户密码更改调整:（请严格按照次序启动）
先启动:管理结点服务->数据结点服务->sql结点服务
关闭:关闭管理结点服务,关闭管理结点服务后,nbdb数据结点服务会自动关闭->手动把sql结点服务关了.
执行初次启动前请先确认
将两台机器的防火墙关闭（service iptables stop 或者 设定 防火墙端口可通,两个端口即通讯端口1186、数据端口3306 )
1．xiaogan63上启动管理结点命令
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
# mysql cluster 后台运行进程
#尽量不要把 管理结点、数据结点、存储结点 配置在同一台机子上,否则一个挂了,就全挂了.
查看端口号:
2．xiaogan63和xiaogan 64启动数据结点服务
[root@xiaogan63 ~]# ndbd --initial
2016-10-23 11:58:48 [ndbd] INFO -- Angel connected to '192.168.31.63:1186'
2016-10-23 11:58:48 [ndbd] INFO -- Angel allocated nodeid: 2 [root@xiaogan64 ~]# ndbd --initial
2016-10-23 11:58:59 [ndbd] INFO -- Angel connected to '192.168.31.63:1186'
2016-10-23 11:58:59 [ndbd] INFO -- Angel allocated nodeid: 3
3．xiaogan63和xiaogan64启动SQL结点服务
[root@xiaogan63 ~]#mysqld_safe --defaults-file=/etc/my.cnf &
[root@xiaogan64 ~]#mysqld_safe --defaults-file=/etc/my.cnf &
查看mysql 集群状态:
[root@xiaogan63 ~]#ndb_mgm
数据同步
1．xiaogan63 修改root密码:
[root@xiaogan63 /]# cat /root/.mysql_secret
[root@xiaogan63 /]# mysql -uroot -pHV6Isr1WnotQxADc
mysql> set password=password('123456');
[root@xiaogan63 /]# mysql -uroot -p123456
2．xiaogan64 修改root密码:
[root@xiaogan64 ~]# cat /root/.mysql_secret
[root@xiaogan64 ~]# mysql_secure_installation
Enter current password for root (enter for none):
Change the root password? [Y/n] y
New password:
Re-enter new password:
Password updated successfully!
Remove anonymous users? [Y/n] y
Disallow root login remotely? [Y/n] y
Remove test database and access to it? [Y/n] y
Reload privilege tables now? [Y/n] y
[root@xiaogan64 ~]# mysql -uroot -p123456
3．插入数据:
xiaogan63:
mysql> create database xiaogan;
xiaogan64:
mysql> show databases;
关闭服务
关闭mysql集群顺序: 关闭管理节点服务-》 关闭管理节点时,数据结点服务自动关闭 –》 需要手动关闭SQL结点服务
[root@xiaogan63 /] # ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> shutdown
Node 2: Cluster shutdown initiated
Node 3: Cluster shutdown initiated
3 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
Node 3: Node shutdown completed.
ndb_mgm> exit
ps -axu | grep ndbd #查看不到,说明数据节点已经被关
手动关闭SQL结点服务
xiaogan63上,手动关闭SQL结点服务
[root@xiaogan63 ~]# ps -axu | grep mysql
[root@xiaogan63 ~]# kill -9 7617
[root@xiaogan63 ~]# kill -9 7743
[root@xiaogan63 ~]# ps -axu | grep mysql
xiaogan64上,手动关闭SQL结点服务
[root@xiaogan64 ~]# ps -axu | grep mysql
[root@xiaogan64 ~]# kill -9 5576
[root@xiaogan64 ~]# kill -9 5701
[root@xiaogan64 ~]# ps -axu | grep mysql
总结
再次启动,msyql集群启动:
[root@xiaogan63 ~]# ndb_mgmd -f /var/lib/mysql-cluster/config.ini
[root@xiaogan63 ~]# ndbd
[root@xiaogan64 ~]# ndbd
[root@xiaogan63 ~]# mysqld_safe --defaults-file=/etc/my.cnf &
[root@xiaogan64 ~]# mysqld_safe --defaults-file=/etc/my.cnf &
测试:
查看mysql 集群状态:
[root@xiaogan63 /]# ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
