1.Mycat概述
在此前的服务器对数据库的存储数量不多的时候,MySql数据库基本能够满足对数据存储的要求。
但随着技术的不断发展,MySql甚至Redis都无法满足现今存储数量的指数级增长的要求,在面对千万级以上的数据存储时,MySql的性能将大幅下降,此时我们需要一个能够解决这些问题的办法。
而MyCat(数据库中间件)则是当下主流的解决海量数据存储问题的方法,接下来我将简略的介绍它的主要功能与原理。
2.Mycat的分库分表
Mycat是一个数据库中间件,也可以理解为是数据库代理。
Mycat的分表操作,即在配置文件中预先配置好将数据分开存储的几张表,且设定分开存储的相关规则,此时注意真实数据库的表名与配置文件中的表名一致。
当我们进行数据存储的操作时,Mycat将这些数据根据配置,把这些数据存储到不同的表中,以减少单表存储时的压力,提高读取与写入的性能。
3.Mycat快速搭建
1.在搭建Mycat时,我们需要预先准备三个配置文件,它们的文件名分别是server.xml、rule.xml和schema.xml。
server.xml
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 --> <property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 --> <property name="sequnceHandlerType">2</property> <!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议--> <!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号--> <!-- <property name="processorBufferChunk">40960</property> --> <!-- <property name="processors">1</property> <property name="processorExecutor">32</property> --> <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena--> <property name="processorBufferPoolType">0</property> <!--默认是65535 64K 用于sql解析时最大文本长度 --> <!--<property name="maxStringLiteralLength">65535</property>--> <!--<property name="sequnceHandlerType">0</property>--> <!--<property name="backSocketNoDelay">1</property>--> <!--<property name="frontSocketNoDelay">1</property>--> <!--<property name="processorExecutor">16</property>--> <!-- <property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --> <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志--> <property name="handleDistributedTransactions">0</property> <!-- off heap for merge/order/group/limit 1开启 0关闭 --> <property name="useOffHeapForMerge">1</property> <!-- 单位为m --> <property name="memoryPageSize">1m</property> <!-- 单位为k --> <property name="spillsFileBufferSize">1k</property> <property name="useStreamOutput">0</property> <!-- 单位为m --> <property name="systemReserveMemorySize">384m</property> <!--是否采用zookeeper协调切换 --> <property name="useZKSwitch">true</property> </system> <!-- 全局SQL防火墙设置 --> <!-- <firewall> <whitehost> <host host="127.0.0.1" user="mycat"/> <host host="127.0.0.2" user="mycat"/> </whitehost> <blacklist check="false"> </blacklist> </firewall> --> <user name="root"> <property name="password">123456</property> <property name="schemas">dm_order</property> <!-- 表级 DML 权限设置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user> </mycat:server>
rule.xml
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:rule SYSTEM "rule.dtd"> <mycat:rule xmlns:mycat="http://io.mycat/"> <tableRule name="auto-sharding-rang-mod-order"> <rule> <columns>id</columns> <algorithm>rang-mod-dm</algorithm> </rule> </tableRule> <function name="rang-mod-dm" class="io.mycat.route.function.PartitionByMod"> <property name="count">3</property> </function> </mycat:rule>
schema.xml
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="dm_order" checkSQLschema="true" sqlMaxLimit="100"> <table name="dm_order" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="auto-sharding-rang-mod-order"/> </schema>
<dataNode name="dn1" dataHost="a" database="dm_order1"/>
<dataNode name="dn2" dataHost="a" database="dm_order2"/> <dataNode name="dn3" dataHost="a" database="dm_order3"/> <dataHost name="a" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select 1</heartbeat> <!--注意下方的“url”中的IP地址应改为对应你的ubantu系统的IP地址--> <writeHost host="hostM1" url="192.168.115.158:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema>
2.接下来将这些文件复制到linux的root目录下,使用Xftp进行文件的传输
3.将宿主机中的三个xml文件复制到mycat容器中的/usr/local/mycat/conf目录,使用Xshell进行相关的操作
root@ubuntu:~# docker cp server.xml springcloudv20_mycat_1:/usr/local/mycat/conf
root@ubuntu:~# docker cp rule.xml springcloudv20_mycat_1:/usr/local/mycat/conf
root@ubuntu:~# docker cp schema.xml springcloudv20_mycat_1:/usr/local/mycat/conf
如下图
最后,重启Mycat容器。至此,Mycat的配置已基本完成,接下来进行相关的测试
4.Mycat相关测试
首先我们先连接Mycat的逻辑库,使用配置文件schema.xml中的设定好的账号密码连接MySql数据库,端口号为8066.
连接成功后数据库内部的表如下图所示:
接下来连接本地的数据库,端口号为3306。
连接成功后数据库内部的我们需要的表如下图所示:
最后我们在逻辑库中的表dm_order随意添加复数条的数据,然后刷新本地库的表,就可以看到,之前在逻辑库中存储的数据已经自动被分别保存在不同的表中。
5.springboot+mybatis实现分库分表
使用老师发给我们的项目文件,在运行后,与网址中输入相应的地址http://localhost:9090/addOrder.do并给予参数,然后刷新数据库中的表,可以查看添加的成果。