MySQL中间件mycat-01
@
mycat基础概念
1、什么是MyCat
- 一个彻底开源的，面向企业应用开发的大数据库集群
- 支持事务、ACID、可以替代MySQL的加强版数据库
- 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
- 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
- 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
- 一个新颖的数据库中间件产品
2、为什么使用MyCat
如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储，为应对此问题就出现了——MyCat
综上所述：Mycat作用为：能满足数据库数据大量存储；提高了查询性能
- 读写分离
- 数据分片 垂直拆分（分库） 、 水平拆分（分表） 、 垂直+水平拆分（分库分表）
- 多数据源整合
3、 数据库中间件对比
① Cobar属于阿里B2B事业群，始于2008年，在阿里服役3年多，接管3000+个MySQL数
据库的schema, 集群日处理在线SQL请求50亿次以上。由于Cobar发起人的离职， Cobar停止维护。 ② Mycat是开源社区在阿里cobar基础上进行二次开发，解决了cobar存在的问题，并且加入了许多新 的功能在其中。青出于蓝而胜于蓝。
③ OneProxy基于MySQL官方的proxy思想利用c进行开发的， OneProxy是一款商业收费的中间
件。舍 弃了一些功能，专注在性能和稳定性上。
④ kingshard由小团队用go语言开发，还需要发展，需要不断完善。
⑤ Vitess是Youtube生产在使用， 架构很复杂。不支持MySQL原生协议，使用需要大量改造成本。
⑥Atlas是360团队基于mysql proxy改写，功能还需完善，高并发下不稳定。
⑦ MaxScale是mariadb（MySQL原作者维护的一个版本） 研发的中间件
⑧ MySQLRoute是MySQL官方Oracle公司发布的中间件
4、核心技术（分库分表）
数据库分片指：通过某种特定的条件，将我们存放在一个数据库中的数据分散存放在不同的多个数据库（主机）中，这样来达到分散单台设备的负载，根据切片规则，可分为以下两种切片模式MyCAT通过定义表的分片规则来实现分片，每个表格可以捆绑一个分片规则，每个分片规则指定一个分片字段并绑定一个函数，来实现动态分片算法。
1.Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。
2.Table：逻辑表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。
3.DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上
4.DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上
5、分片规则：前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极的避免后续数据处理的难
Mycat安装部署
环境
| 主机名 | IP地址 |
|---|---|
| master | 192.168.1.65 |
| slave | 192.168.1.67 |
| mycat | 192.168.1.1 |
1、配置主从复制
//master主机上操作
开启二进制日志
[root@master ~]# cat /etc/my.cnf
[mysqld]
.....
server_id = 1 //不可和其他主机一直
log-bin = mysql-bin
!重启MySQL
创建用户
mysql> grant replication slave on *.* to rep@'192.168.1.%' identified by '123.com';
Query OK, 0 rows affected, 1 warning (0.00 sec)
查看master二进制文件和位置，后面会用到
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 446 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
//slave主机进行操作
[mysqld]
...
server_id = 2 //不可与其他主机一致
relay_log= relay_log //中继日志
！重启MySQL
mysql> change master to
-> master_host='192.168.1.65',
-> master_user='rep',
-> master_password='123.com',
-> master_log_file='mysql-bin.000001',
-> master_log_pos=446;
Query OK, 0 rows affected, 2 warnings (0.01 sec)
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
查看slave状态要求
mysql> show slave status\G
......
Slave_IO_Running: Yes
Slav_SQL_Running: Yes
1、部署mycat前提要求
- jdk：要求jdk必须是1.7及以上版本
- Mysql：推荐mysql是5.5以上版本
- Mycat：Mycat的官方网站：http://www.mycat.org.cn/ 下载地址： https://github.com/MyCATApache/Mycatdownload Mycat有windows、linux多种版本。
2、下载部署mycat
[root@mycat ~]# cd /usr/local/
[root@mycat local]# wget http://dl.mycat.org.cn/1.6.7.6/20201126013625/Mycat-server-1.6.7.6-release-20201126013625-linux.tar.gz
//安装jdk环境
[root@mycat ~]# yum -y install java-devel
[root@mycat ~]# cd /usr/local/
[root@mycat local]# tar zxf Mycat-server-1.6.7.6-release-202011260
//优化路径
[root@mycat ~]# ln -s /usr/local/mycat/bin/* /usr/local/bin/
3、master主机上创建库
//用于在mycat主机配置文件中指定
mysql> create database qin;
mysql> create table qin.t1 (id int primary key auto_increment,
-> name char(22)
-> );
mysql> insert into qin.t1(name) values ('zhangsan'),('lisi') ;
Query OK, 2 rows affected (0.06 sec)
Records: 2 Duplicates: 0 Warnings: 0
mysql> select * from qin.t1;
+----+----------+
| id | name |
+----+----------+
| 1 | zhangsan |
| 2 | lisi |
+----+----------+
3、修改配置文件
//修改server.xml文件
[root@mycat ~]# vim /usr/local/mycat/conf/server.xml
......
<user name="mycat" defaultAccount="true"> //更改用户名，可不改
<property name="password">123456</property>
<property name="schemas">TESTDB</property>
<property name="defaultSchema">TESTDB</property>
[root@mycat ~]# vim /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100" dataNode="dn1">
</schema>
<dataNode name="dn1" dataHost="host1" database="qin" /> //指定qin库
<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="jdbc:mysql://192.168.1.65:3306" user="root"
password="123.com"> //指定master的ip和登入mysql的root用户和密码
</writeHost>
</dataHost>
</mycat:schema>
//启动mycat
{ console | start | stop | restart | status |dump } Mycat的默认端口号为：8066
后台运行的话可用 start命令
[root@mycat ~]# mycat console
Running Mycat-server...
wrapper | --> Wrapper Started as Console
wrapper | Launching a JVM...
jvm 1 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
jvm 1 | Copyright 1999-2006 Tanuki Software, Inc. All Rights Reserved.
jvm 1 |
jvm 1 | MyCAT Server startup successfully. see logs in logs/mycat.log
4、scp mysql命令到mycat主机上
由于mycat并没有安装mysql但又要用到mysql登入命令，所以在随意一台安装mysql主机上吧mysql登入命令copy到mycat主机上
[root@slave ~]# scp /usr/local/mysql/bin/mysql root@192.168.1.61:/usr/local/bin/
5、mycat主机测试登入
[root@mycat ~]# mysql -umycat -p123456 -h 192.168.1.61 -P 8066
6、任意客户端测试登录
[root@slave ~]# mysql -umycat -p123456 -h 192.168.1.61 -P 8066
7、设置root权限
root只有在本地才有root权限，所以需要创建远程root账号，方便在数据库中更改数据，如果没有权限在客户端登入成功也什么也不能改变数据。
mysql> grant all on *.* to root@'192.168.1.%' identified by '123.com';
Query OK, 0 rows affected, 1 warning (0.00 sec)
8、插入数据测试
//客户端插入数据
[root@slave ~]# mysql -umycat -p123456 -h 192.168.1.61 -P 8066
mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB |
+----------+
1 row in set (0.01 sec)
mysql> use TESTDB;
Database changed
mysql> show tables;
+---------------+
| Tables_in_qin |
+---------------+
| t1 |
+---------------+
1 row in set (0.02 sec)
mysql> insert into t1(name) values('zi');
Query OK, 1 row affected (0.08 sec)
OK!
mysql> select * from t1;
+------+----------+
| id | name |
+------+----------+
| 1 | zhangsan |
| 2 | lisi |
| 3 | zi |
+------+----------+
3 rows in set (0.02 sec)
//master主机查看验证
mysql> select * from qin.t1;
+----+----------+
| id | name |
+----+----------+
| 1 | zhangsan |
| 2 | lisi |
| 3 | zi |
+----+----------+
3 rows in set (0.00 sec)
