PXC集群

PXC集群

NOTE: By now there are a some good alternatives to MySQL-MMM. Maybe you want to check out Galera Cluster which is part of MariaDB Galera Cluster.

 

Galera Cluster是一个用于innodb的同步多主复制插件，它不同于传统的MySQL复制，同时也解决了很多多主写入时的冲突问题，用户不需要知道其在哪台服务器上写入以及在哪台服务器上读取。

一个应用程序可以在集群中的每个节点写入，事务(基于行的)在一个节点提交也会同步复制到其他节点，通过基于认证(certification-based)的复制来实现实时同步。

基于认证的复制使用组通信(Group Communication) 和事务排序技术( transaction ordering techniques)来实现数据库的同步复制。

一个Galera集群至少需要3个节点，同时推荐采用奇数个几点，原因为集群内需要大多数节点达到一致。

Galera Cluster插件是一个开源的，由Codership公司开发的标准MySQL数据库补丁，它有三个分支：

MySQL Galera Cluster by Codership

Percona XtraDB Cluster by Percona

MariaDB Galera Cluster (5.5 and 10.0) by MariaDB

Galera和主从复制的区别

 

主从复制实现

普通MySQL每个主从连接使用3个线程来进行复制，一个在master上，两个位于slave上，Binlog dump thread，当从库连接主库时主库会建立该线程来发送二进制文件到从库，我们可以在主库上通过show PROCESSLIST命令看到该线程。

Slave IO thread，从库创建该线程来连接主库要求主库发送二进制文件，然后写入到从库的relay log中。

Slave SQL thread，从库创建该线程来读取Slave IO thread 写入的relay log，然后在从从库中执行他们。

MySQL复制是标准MySQL的一部分，原生是异步的，我们可以通过半同步来实现实时同步功能，MySQL复制也可以实现多主复制，不过期维护非常复杂并且容易出错，并不推荐。

Galera Cluster实现

Galera Cluster 通过四个组件来实现：

• Database Management System，这就是在各个节点的数据库服务了，支持MySQL Server, Percona Server for MySQL和MariaDB Server。
• wsrep API，该接口是一个复制的提供者，他为写集复制提供与数据库服务器引擎的集成。wsrep全称为WriteSet Replication，Galera中事务通过一些处理变为writesets后发送到各个节点。
• Galera Plugin，该插件使得写集复制可以正常工作。
• Group Communication plugins，提供Galera Cluste可用的各种组通信系统，数据库厂商需要将WriteSet Replication (wsrep) API 补丁集成到数据库产品中，这将允许Galera plugin作为wsrep API 的提供者，允许其通过group communication协议来和事务进行通信并且复制事务至其他节点，这些使得innoDB可以做到同步的多主复制，事务会同步的提交到所有节点，当一个节点失效时，集群可以继续运作并保持同步，失效节点重新加入集群时，其会自动的从其他节点同步数据，他使用如下两种技术：State Snapshot Transfer (SST)和Incremental State Transfer (IST)。

 

PXC集群特点

Percona XtraDB集群是一个针对MySQL的数据库集群解决方案。它确保高可用性，防止宕机和数据丢失，并为不断增长的环境提供线性可伸缩性。

PXC集群具有如下特点：

• 同步复制。数据是同时写入所有节点的，或者如果在单个节点上发生故障则不写入任何数据。
• 多主复制。任何节点都可以进行数据更新。
• 真正的并行复制。Slave端多线程在行级执行复制。
• 自动节点配置。只需添加一个节点，无需任何干预，它就会自动同步。
• 数据一致性。不会存在数据不同步的节点。
• PXC严格的SQL模式。避免使用实验性的和不受支持的特性。
• ProxySQL配置脚本。Percona提供了一个带有代理管理工具的ProxySQL包，它可以自动配置PXC集群节点。
• SSL加密的自动配置。PXC集群包括pxc-encrypt-cluster-traffic变量，该变量支持SSL加密的自动配置。
• 优化的性能。PXC集群的性能得到了优化，可以随着生产工作负载的增长进行伸缩。

 

PXC集群优点

• 当执行一个查询语句时，它将在节点上本地执行。所有数据都在本地可用，不需要远程访问。
• 没有中央集权管理，可以在任何时间丢失任何节点，集群将继续正常运行而不会丢失任何数据。
• 扩展读工作负载的好解决方案。您可以将读查询放在任何节点上。

PXC集群缺点

• 新节点扩展的开销会比较大。当添加一个新节点时，它必须从一个现有节点复制完整的数据集。如果现有节点的数据量为100GB，则需要复制100GB数据到新增的节点。
• 它不能作为一个写扩展的解决方案，因为它会写放大，每一个节点上发起的写操作，在所有其他的节点上都必须运行一次。
• 有大量重复的数据，对于3个节点，就有3份重复数据；对于5个节点，就会有5份重复数据。

PXC集群限制

PXC集群具有如下限制：

• 复制只能在InnoDB存储引擎上工作。对其他类型的表(包括system (mysql.*)表)的任何写操作都不会被复制。但是，DDL语句是在语句级复制的，所以你可以安全地创建用户…，但是向mysql.user发出INSERT…不会被复制。可以使用wsrep_replicate_myisam变量启用实验性的MyISAM复制支持功能。
• 不支持的查询语句：（1）、在多主模式下，不支持LOCK TABLES和UNLOCK TABLES；（2）、不支持锁函数，例如：GET_LOCK()、RELEASE_LOCK()等。
• 无法将查询日志定向到表。如果启用查询日志功能，必须将日志定向到一个文件。
• 允许的最大事务大小由wsrep_max_ws_rows和wsrep_max_ws_size变量定义。LOAD DATA INFILE的方式加载数据时，每10,000行提交一次。因此，由于负载数据而产生的大事务将被分割成一系列的小事务。
• 由于集群级的乐观并发控制，事务发布提交可能仍然会在该阶段中止。可以有两个事务写入相同的行并在单独的PXC集群节点中提交，其中只有一个可以成功提交。失败的将被中止。对于集群级中止，PXC集群返回死锁错误代码：(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK))。
• 由于提交时可能回滚，所以不支持XA事务。
• 整个集群的写吞吐量受到最弱节点的限制。如果一个节点变慢，整个集群就会变慢。如果您对稳定的高性能有要求，那么相应的硬件应该支持它。
• 集群的最小推荐大小是3个节点。第三个节点可以是仲裁员。
• 不支持InnoDB虚假更改功能。
• enforce_storage_engine=InnoDB与wsrep_replicate_myisam=OFF(默认)不兼容。
• 在集群模式下运行Percona XtraDB集群时，请避免ALTER TABLE ... IMPORT/EXPORT工作。如果在所有节点上不同步执行，可能会导致节点不一致。
• 所有表都必须有主键。这确保相同的行以相同的顺序出现在不同的节点上。没有主键的表不支持DELETE语句。

 

PXC安装部署

环境说明

主机名	IP地址	PXC版本
mysqldb01	192.168.56.131	PXC 5.7
mysqldb02	192.168.56.132	PXC 5.7
mysqldb03	192.168.56.133	PXC 5.7

 

注意：避免创建只有两个或偶数个节点的PXC集群，因为这有可能会导致脑裂。

 

安装 PXC 5.7

（1）、在配置PXC集群之前，必须在所有的MySQL主机上安装Percona-XtraDB-Cluster-57软件。

[root@mysqldb01 tmp]# wget https://repo.percona.com/yum/percona-release-latest.noarch.rpm

[root@mysqldb01 tmp]# rpm -ihv percona-release-latest.noarch.rpm

[root@mysqldb01 tmp]# rpm -ihv socat-1.7.2.4-1.el6.rf.x86_64.rpm

[root@mysqldb01 tmp]# yum install -y Percona-XtraDB-Cluster-57

 

yum安装时会提示UDFs功能，根据需要可以在mysql启动后执行提供的语句：

Percona XtraDB Cluster is distributed with several useful UDFs from Percona Toolkit.

Run the following commands to create these functions:

mysql -e "CREATE FUNCTION fnv1a_64 RETURNS INTEGER SONAME 'libfnv1a_udf.so'"

mysql -e "CREATE FUNCTION fnv_64 RETURNS INTEGER SONAME 'libfnv_udf.so'"

mysql -e "CREATE FUNCTION murmur_hash RETURNS INTEGER SONAME 'libmurmur_udf.so'"

See http://www.percona.com/doc/percona-server/5.7/management/udf_percona_toolkit.html for more details

 

（2）、初始化配置MySQL，并修改root口令：

# service mysql start

# grep 'temporary password' /var/log/mysqld.log

# mysql -u root -p

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'welcome1';

# service mysql stop

 

注：所有的MySQL服务器都需要执行以上步骤完成PXC5.7的软件安装与配置工作。

 

配置PXC集群

配置PXC集群，主要涉及mysqld.cnf，mysqld_safe.cnf，wsrep.cnf几个配置文件，在5.7版本中，my.cnf为主配置文件，其余的配置文件放在/etc/percona-xtradb-cluster.conf.d目录，在这几个配置文件中，大家根据自己的需要定制，本演示仅作基本修改。

（1）、修改wsrep.cnf文件。

# vi /etc/percona-xtradb-cluster.conf.d/wsrep.cnf

添加如下内容：

wsrep_provider=/usr/lib64/galera3/libgalera_smm.so

wsrep_cluster_name=pxc-cluster

wsrep_cluster_address=gcomm://192.168.56.131,192.168.56.132,192.168.56.133

wsrep_node_name=pxc1

wsrep_node_address=192.168.56.131

wsrep_sst_method=xtrabackup-v2

wsrep_sst_auth=sstuser:passw0rd

pxc_strict_mode=ENFORCING

binlog_format=ROW

default_storage_engine=InnoDB

innodb_autoinc_lock_mode=2

 

注意：其他的MySQL节点也修改wsrep.cnf文件，wsrep_node_name和wsrep_node_address变量值必须修改。

启动集群的第1个节点

在配置完所有PXC节点之后，通过引导第一个节点来初始化集群，初始节点应该包含您希望复制到其他节点的所有数据，如果其他的节点上有数据，则初始化后其他节点上以前存在的数据会被清空。

（1）、引导意味着在没有任何已知集群地址的情况下启动节点。如果wsrep_cluster_address变量为空，则Percona XtraDB集群假设这是第一个节点，并初始化集群。但是也可以不改变配置，假设为第1个节点中现有的数据为准，使用以下命令启动第1个节点：

[root@mysqldb01 ~]# /etc/init.d/mysql bootstrap-pxc

当使用以上命令启动节点时，它将以bootstrap模式运行，wsrep_cluster_address=gcomm://。这告诉节点将wsrep_cluster_conf_id设置为1来初始化集群。在向集群中添加其他节点之后，可以像往常一样重新启动这个节点，它将再次使用标准配置。

（2）、检查集群是否已经初始化，请运行以下命令：

mysql@mysqldb01> show status like 'wsrep%';

（3）、创建SST的数据库用户。

在启动集群的第1个节点上创建一个用于SST的数据库用户，该用户在wsrep.cnf配置文件中需要使用。

mysql> CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'passw0rd';

mysql> GRANT RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';

mysql> FLUSH PRIVILEGES;

 

向集群中添加其他节点

当集群中的第1个节点启动完毕后，可以将其他的节点加入PXC集群中，命令如下所示。

[root@mysqldb02 ~]# /etc/init.d/mysql start

mysql@mysqldb02> show status like 'wsrep%';

 

查看集群状态

查看PXC集群的状态，可以在每个MySQL集群节点上运行如下命令：

show global status like 'wsrep%';

下面对wsrep_cluster_status字段进行说明：

• OPEN: 节点启动成功，尝试连接到集群，如果失败则根据配置退出或创建新的集群
• PRIMARY: 节点处于集群pc中，尝试从集群中选取donor进行数据同步
• JOINER: 节点处于等待接收/接收数据文件状态，数据传输完成后在本地加载数据
• JOINED: 节点完成数据同步工作，尝试保持和集群进度一致
• SYNCED：节点正常提供服务：数据的读写，集群数据的同步，新加入节点的sst请求
• DONOR(贡献数据者)：节点处于为新节点准备或传输集群全量数据状态，对客户端不可用。