mycat分库分表配置

1.什么是分库分表

在同一个系统(项目)中,把一张数据比较多的表放到不同的集群节点上,这种模式就称之为分库分表

2.需求

使用mycat实现分库分表(HDFS:namenode datanode secondarynamdenode)
 
在整个mycat中也会使用到namenode和datanode
 
mysql01服务器(linux)192.168.152.147:
  mysql数据库
  TEACH(真实的库)
  book(表)
 
mysql02服务器(linux)192.168.152.148:
  mysql数据库
  TEACH(真实的库)
  book(表)
 
使用mycat(192.168.152.149)把数据分别存放在两个student中,也就是说这两张student表合在一起才是一个完整的数据表
  mycat --> mysql01存入一条数据
  mycat --> mysql02存入一条数据
  依次交替
 

3.配置mycat

3.1.规定linux的用户名和全名不能叫mycat!!!否则mycat会不生效(原因是影响整个linux系统的环境变量导致mycat的配置环境变量没有生效)
3.2.vim /etc/sysconfig/network也不能叫mycat
3.3.mycat使用的是Java语言编写-->所以必须要在linux上配置jdk(要求jdk必须为64位,因为mycat是在64位的jdk8上进行编译的)
3.4.配置jdk
3.5.使用xftp把mycat的压缩包上传到linux服务器上
3.6.解压mycat压缩包
tar -zxvf xxxxx
3.7.配置mycat的环境变量
3.8.启动mycat
  进入mycat的bin目录
./mycat console
  或者在任意的位置直接使用(需配置环境变量)
mycat console start | stop | restart | status | dump
mycat console 类似于IDEA中控制台,mycat会把日志打印出来
 
mycat start 就是正常启动
一般情况下推荐使用console启动
 
一旦启动mycat就关不掉,kill -9关不掉 除非重启或者关机
 
看到以下信息说明启动成功:
jvm 1 | MyCAT Server startup successfully. see logs in logs/mycat.log

4.mycat的三个核心配置文件

所有的读写分离/分库分表都必须要在这三个配置文件完成
mycat的conf目录
 
server.xml:
  配置了mycat的用户(账号:root 密码:root) --> 账号和密码可以根据情况随意更改
  相当于mysql的用户(账号:root 密码:root)
  mycat也是可以直接使用数据库连接软件进行连接的
<!--
        整个user标签中就是配置了mycat的账号和密码
            name===》就是mycat的账号
            defaultAccount====》表示该账号为管理员账号,而且只能出现一次
            property:属性标签
                password===》就是name的密码
            无论是账号还是密码都可以随意定制,开心就好!!!
            readOnly:只读(该账号只能查询数据,不能写入数据)
        schemas:指向的是mycat的数据库(mycat的虚拟库!!!这个库并不是真实存在的,是需要通过mysql的数据库进行映射的),一个mycat中可以有多个schema
        隐藏mysql的真实库的名字
            连接mysql:
                jdbc:mysql:localhost:3306/数据库名
            连接mycat:
                jdbc:mysql:ip地址:端口号/mycat的虚拟库名
        schemas中的配置和mysql的数据库可以一样,也可以不一样
    -->
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <property name="schemas">TEACH</property>
    </user>
rule.xml:
  mycat的规则
<!--
        所有的规则配置一个tableRule对应一个function,如果需要进行配置必须要配置一对,不能单独配置一个(如果单独配置了一个的情况下,mycat启动的时候会直接报错)
        一共有十种规则:
            homework1:
                百度把这10种规则全部弄明白,然后整理一份用自己语言描述的电子文档

        mod-long:(轮询)
            mysql01
                mysql数据库
                    teach
                        student
            mysql02
                mysql数据库
                    teach
                        student

            当客户端发送请求===插入数据===》mycat===请求mysql===》会把第一条数据插入进mysql01,
                会把第二条数据插入进mysql02
        依次循环

    -->

    <tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    
    
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!--
            代表了datanode的节点数量
            如果只有两台datanode就必须要写2
        -->
        <property name="count">2</property>
    </function>
schema.xml:
  实现了读写分离和分库分表的具体配置
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <!--
        !!!schema标签的name属性值必须要和server.xml中的schames保持一致!!!
        schema就类似于mysql的数据库
        checkSQLschema:检查SQL语句是否错误(select * from user wher id = 1)
            默认值为false,不需要改为true,把对SQL语句的检查交给mysql处理
        sqlMaxLimit:最大执行SQL语句的数量
            一次性可以执行多少条SQL语句

        在schame标签中有table标签,这个标签就是定义了mycat中的表
            类似于mysql数据库中的表
            和mysql中的表名可以重复也可以不一致

        dataNode:数据节点
            在HDFS中存放数据
            在mycat中映射的就是真实mysql数据库(可以有多个,也可以只有一个),名字可以随意起
            今天的目标是实现分库分表,需要用到两台mysql数据库,所以只需要配置dn1和dn2

        rule:配置规则
            配置一定要和rule.xml中保持一致

    -->
    <schema name="TEACH" checkSQLschema="false" sqlMaxLimit="100">
        <!-- auto sharding by id (long) -->
        <table name="book" dataNode="dn1,dn2" rule="mod-long" />
    </schema>
    
    <!--
        datanode标签对应的是table标签中的datanode属性
            也就是说datanode属性值必须要和dataNode的标签name属性值保值一致
            dn1:代表了mysql01服务器==》mysql数据库
            dn2:代表了mysql02服务器==》mysql数据库
        dataHost:才是真正的配置了分库分表和读写分离的核心配置
        database:映射的是真实mysql的数据库名
    -->
    <dataNode name="dn1" dataHost="localhost1" database="TEACH" />
    <dataNode name="dn2" dataHost="localhost2" database="TEACH" />
    
    <!--
        dataHost标签必须要和dataNode标签中的dataHost属性保持一致
            如果dataHost属性名重复了,映射的是同一个dataHost
        每一个dataHost标签就是一个真实的mysql数据库
        maxCon:最大连接数
        minCon:最小连接数

        balance:        homework2:
            把balance,writeType,switchType弄明白,并且用自己的语言描述每个值代表什么意思,记录电子文档负载均衡
        writeType:写入的类型(读写分离使用)
        switchType:转换的类型(读写分离所使用的数据)
        dbType:数据库的类型(在最早的版本mycat只支持mysql一种数据库,后来发展支持很多种数据库)
        dbDriver:数据库驱动(使用本地驱动,使用的是mycat所提供的驱动)
        slaveThreshold:自己查!!!!
            master:主节点
            slave:从节点
            threshold:入口
    -->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
              <!--
                heartbeat:心跳
                    mycat一直在监视mysql的user表(心跳),如果一旦发现mysql的user不再有心跳,就会认为这一台mysql处于宕机状态,也就不会再向这一台mysql进行做增删改查的操作
              -->
        <heartbeat>select user()</heartbeat>
        <!--
            writeHost:标签是该台mysql数据库为读和写的数据库
            readHost:标签是该台mysql数据库为读的数据库
            writeHost如果单独存在,标识该台mysql数据库为读和写的操作
                如果一旦和readHost一起使用,writeHost就只能做些的操作,所有的读操作都使用readHost完成
                readHost必须要配置在writeHost的内容,不允许单独存在
            host:属性只是标识了该台数据库的操作的内容,可以随意定义
            url:数据库的url
                jdbc:mysql://localhost:3306
            !!!!!如果配置了两个writeHost,那么host的值就必须不能重复!!!!!
        -->
        <writeHost host="write01" url="192.168.23.129:3306" user="root"
                   password="root" />
    </dataHost>

    <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="write02" url="192.168.23.130:3306" user="root"
                   password="root" />
    </dataHost>
    <!--

        mycat中所映射的真实mysql的表必须要mycat所声明的table的名字保持一致
        也就是说mycat的表名必须要和mysql的表名一模一样,否则映射不到

    -->
</mycat:schema>
  其实mycat也可以看成是一个数据库,只是这个数据库是虚拟的,把真实的mysql数据中的表数据映射进了虚拟库中,使用Java项目连接的时候只需要连接mycat即可,不再需要连接mysql
 
启动成功后可以直接使用数据库连接工具连接mycat
mycat的dbType配置的是什么数据库,就使用这一种数据库进行连接即可
 
mycat有两个端口号:
  9066:管理端口号(管理mycat使用的)
  8066:通讯端口号(连接端口号)
posted @ 2019-09-23 15:31  夜阑风雪  阅读(3597)  评论(2编辑  收藏  举报