MySQL Cluster NDB(Mysql 集群)
http://www.cnblogs.com/oubo/archive/2011/11/04/2394613.html
一、MySQL Cluster概述
MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个 Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。(注意,要想获得MySQL Cluster 的功能,必须安装 mysql-server 和 mysql-cluster RPM)。
目前能够运行MySQL Cluster 的操作系统有Linux、Mac OS X和Solaris(一些用户通报成功地在FreeBSD上运行了MySQL Cluster ,但MySQL AB公司尚未正式支持该特性)。
MySQL Cluster 是一种分布式设计,目标是要达到没有任何单点故障点。因此,任何组成部分都应该拥有自己的内存和磁盘。该技术允许在无共享的系统中部署“内存中”数据库的 Cluster ,任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。通过这种冗余设计,MySQL声称数据的可用度可以达到99.999%。
MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系,请参见下图:
所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。
二、MySQL Cluster 基本概念
NDB是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。
MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。
目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中, Cluster的每个部分被视为1个节点。
- 管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的
- 数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。
- SQL节点:这是用来访问 Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。
注释:在很多情况下,术语“节点”用于指计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ Cluster主机”。
管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输到管理服务器,然后,将这类信息写入 Cluster日志。
此外,可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型:
- 标准MySQL客户端:对于MySQL Cluster,它们与标准的(非 Cluster类)MySQL没有区别。换句话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。
- 管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。
三、NDB的安装和配置
节点(用途) |
IP地址(主机名) |
管理节点(MGM) |
192.168.0.55 |
SQL节点1(SQL1) |
192.168.0.56 |
SQL节点2(SQL2) |
192.168.0.57 |
数据节点1(NDBD1) |
192.168.0.58 |
数据节点2(NDBD2) | 192.168.0.59 |
1.安装Mysql server(如果已经安装,则可略过此步骤)
$wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.59.tar.gz/from/http://mysql.cs.pu.edu.tw/ $tar -xzvf mysql-5.1.59.tar.gz $cd mysql-5.1.59 $./configure --with-charset=utf8 --with-collation=utf8_bin --with-extra-charsets=gbk,gb2312,big5,utf8,binary,ascii --prefix=/usr/local/mysql --with-plugins=partition,ndbcluster $make $make install
执行上述./configure时可能报错:
checking for termcap functions library... configure: error: No curses/termcap library found
使用如下方式解决:
$wget http://ftp.gnu.org/pub/gnu/ncurses/ncurses-5.6.tar.gz $tar -xzvf ncurses-5.6.tar.gz $cd ncurses-5.6 $./configure --prefix=/usr --without-debug --with-shared $make &make install $/etc/init.d/mysql start #启动mysql服务器
2.安装Mysql Cluster
$wget http://dev.mysql.com/get/Downloads/MySQL-Cluster-7.1/mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz/from/http://mysql.ntu.edu.tw/ $tar -xzvf mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23.tar.gz $mv mysql-cluster-gpl-7.1.15a-linux-x86_64-glibc23/ /usr/local/mysql-cluster $cd /usr/local/mysql-cluster $groupadd mysql $useradd -g mysql mysql $passwd mysql $cd /usr/local/mysql-cluster $chown -R mysql:mysql . $scripts/mysql_install_db --user=mysql $cp -rp bin/ndb* /usr/local/bin/
3.配置管理节点(MGMD)
$cp support-files/ndb-config-2-node.ini /etc/ndb_mgmd.ini $vi /etc/ndb_mgmd.ini [ndbd default] NoOfReplicas= 2 MaxNoOfConcurrentOperations= 10000 DataMemory= 80M IndexMemory= 24M TimeBetweenWatchDogCheck= 30000 DataDir= /usr/local/mysql-cluster/data MaxNoOfOrderedIndexes= 512 #设置管理节点服务器 [ndb_mgmd default] DataDir= /usr/local/mysql-cluster/data #MGM上保存日志的目录 [ndb_mgmd] Id=1 HostName= 192.168.0.55 #设置存储节点服务器(NDB节点) [ndbd] Id= 2 HostName= 192.168.0.56 DataDir=/usr/local/mysql-cluster/data [ndbd] Id= 3 HostName= 192.168.0.57 DataDir=/usr/local/mysql-cluster/data #设置SQL节点服务器 [mysqld] Id= 5 HostName= 192.168.0.58 [mysqld]#第二个SQL节点 Id= 6 HostName= 192.168.0.59 # 选择一个未使用的端口 [tcp default] PortNumber= 63132
4.配置SQL节点
$vi /etc/my.cnf
然后写入以下内容:
[mysqld] basedir = /usr/local/mysql/ datadir = /usr/local/mysql/data user = mysql port = 3306 socket = /tmp/mysql.sock ndbcluster ndb-connectstring=192.168.0.55 [MYSQL_CLUSTER] ndb-connectstring=192.168.0.55
5.配置存储节点(NDB节点)
$vi /etc/ndbd.cnf
然后写入以下内容:
[mysqld]
ndbcluster
DataDir=/usr/local/mysql-cluster/data
[MYSQL_CLUSTER]
ndb-connectstring=nodeid=192.168.0.55
四、启动MySQL Cluster
较为合理的启动顺序是:首先启动管理节点服务器,然后启动存储节点服务器,最后才启动SQL节点服务器: 1.在管理节点服务器上,执行以下命令启动MGM节点进程:
$/usr/local/bin/ndb_mgmd -f /etc/ndb_mgmd.ini --configdir=/usr/local/mysql-cluster $netstat -ntpl |grep ndb #检查是否成功
必须用参数“-f”或“--config-file”告诉 ndb_mgm 配置文件所在位置,默认是在ndb_mgmd相同目录下。
2.在每台存储节点服务器上,如果是第一次启动ndbd进程的话,必须先执行以下命令:
$/usr/local/bin/ndbd --initial --defaults-file=/etc/ndbd.cnf
注意,仅应在首次启动ndbd时,或在备份/恢复数据或配置文件发生变化后重启ndbd时使用“--initial”参数。因为该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括用于恢复的日志文件。
3.运行以下命令启动SQL节点服务器:
$mysqld_safe --defaults-file=/etc/my.cnf &
注意:如果你正在使用较早的MySQL版本,你或许会看到引用为‘[mysqld(API)]’的SQL节点。这是一种早期的用法,现已放弃。
五、关闭Mysql Cluster
要想关闭 Cluster,可在MGM节点所在的机器上,在Shell中简单地输入下述命令:
$/usr/local/bin/ndb_mgm -e shutdown
运行以下命令关闭SQL节点的mysqld服务:
$/usr/local/bin/mysqladmin -uroot shutdown
六、操作数据库
与没有使用 Cluster的MySQL相比,在MySQL Cluster内操作数据的方式没有太大的区别。执行这类操作时应记住两点:
- 表必须用ENGINE=NDB或ENGINE=NDBCLUSTER选项创建,或用ALTER TABLE选项更改,以使用NDB Cluster存储引擎在 Cluster内复制它们。如果使用mysqldump的输出从已有数据库导入表,可在文本编辑器中打开SQL脚本,并将该选项添加到任何表创建语句,或用这类选项之一替换任何已有的ENGINE(或TYPE)选项。
- 另外还请记住,每个NDB表必须有一个主键。如果在创建表时用户未定义主键,NDB Cluster存储引擎将自动生成隐含的主键。(注释:该隐含 键也将占用空间,就像任何其他的表索引一样。由于没有足够的内存来容纳这些自动创建的键,出现问题并不罕见)。
参考文章:
http://ginge.iteye.com/blog/320205
http://www.linuxidc.com/Linux/2010-04/25588p2.htm
http://blog.itpub.net/post/41982/516838
http://space.itpub.net/101629/viewspace-694325
http://imysql.cn/?q=node/96