数据切分——Atlas读写分离Mysql集群的搭建

        关于数据切分的原理能够參见博客：

        http://blog.csdn.net/jhq0113/article/details/44226789

      

        关于Atlas的介绍能够參见博客：

        http://blog.csdn.net/jhq0113/article/details/44239823


                 Atlas源码用C语言编写。它对于Web Server相当于是DB,相对于DB相当于是Client,假设把Atlas的逻辑放到Web Server程序里去处理，这样会大大添加Web Server程序的复杂度，同一时候Web Server和DB之间的耦合度也相当高，由于仅仅要DB添加/降低服务。Web Server就有可能要发生代码改变，若代码不改变，就得通过中间关系表与心跳机制来维护Server之间的关系。这样会带来性能的损耗，而Atlas是架设在Web Server与DB之间的一个中间件，Web Server与DB之间的耦合关系放到了Atlas来处理，既做到了灵活也保留了性能，这也是Atlas存在的价值。


        Atlas支持表的水平切分。支持读写分离，对数据实时性要求较高的项目能够在select语句前添加/*master*/强制读主库，主从MySql数据库之间数据的同步须要自己配置，主从MySql数据库数据主从复制的配置方法參见博客：

        http://blog.csdn.net/jhq0113/article/details/44263367

        

        1.安装

         注意：仅仅能安装在64位的Linux操作系统上，CentOS官方建议rpm安装方式

         获取地址：https://github.com/Qihoo360/Atlas/releases

         眼下最新的版本号为：

          Atlas-2.2.1.el5.x86_64.rpm                      CentOS 5.*  版本号

          Atlas-2.2.1.el6.x86_64.rpm                      CentOS 6.*  版本号

         

         我的环境是CentOS 6.6 Basic Server x86_64

         

         安装命令：

         [root@jhq0229 src]# rpm -i Atlas-2.2.1.el6.x86_64.rpm

        

         安装位置：

         /usr/local/mysql-proxy

         配置文件：

         /usr/local/mysql-proxy/conf/test.cnf

       

         重要配置文件具体解释：

         (1)线程数

         event-threads项设置，过小无法充分发挥多核CPU的性能，过大造成不必要的线程切换开销。推荐设置为CPU的核数。

      (2)最小空暇连接数(2.x以上版本号不须要该项，1.x版本号须要)

         min-idle-connections项设置，过小则在高并发下会有报错。过大尽管不报错但在測试时不easy看出读写分离效果。推荐设置为比client的并发峰值稍大，详见《配置參数具体解释》。上面的配置范例是针对Atlas 2.X版本号。没有该选项。

对于Atlas 1.X版本号的配置文件，须要增加该配置选项

      (3)Atlas的工作port

         proxy-address项配置。比如proxy-address = 0.0.0.0:1234代表client应该使用1234这个port连接Atlas来发送SQL请求。

     (4)Atlas的管理port

         admin-address项配置，比如admin-address = 0.0.0.0:2345代表DBA应该使用2345这个port连接Atlas来运行运维管理操作。

    (5)管理接口的username和password

        admin-username项和admin-password项设置。这两项是用来进入Atlas的管理界面的，与后端连接的MySQL没有关系，所以能够随意设置，不须要MySQL在配置上做不论什么修改。

   (6)日志级别

        以log-level项配置。分为message、warning、critical、error、debug五个级别。

   (7)日志路径

       以log-path项配置。如log-path = /usr/local/mysql-proxy/log。

   (8)主库的IP和port

       proxy-backend-addresses = 192.168.0.12:3306

   (9)从库的IP和port，@后面的数字代表权重。用来作负载均衡，若省略则默觉得1。可设置多项，用逗号分隔。假设想让主库也能分担读请求的话，仅仅须要将主库信息增加到以下的配置项中。

       proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306

   (10)username与其相应的加密过的MySQLpassword，password使用PREFIX/bin文件夹下的加密程序encrypt加密，username与password之间用冒号分隔。

主从数据库上须要先创建该用户并设置password（username和password在主从数据库上要一致）。比方username为myuser。password为mypwd，运行./encrypt mypwd结果为HJBoxfRsjeI=。假设有多个用户用逗号分隔就可以。则设置例如以下行所看到的：

      pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=

 (11)分表设置，此例中person为库名，mt为表名，id为分表字段。3为子表数量，可设置多项。以逗号分隔。若不分表则不须要设置该项，子表须要事先建好，子表名称为表名_数字，数字范围为[0,子表数-1]。如本例里。子表名称为mt_0、mt_1、mt_2

    tables = person.mt.id.3


   我的配置：

    

[mysql-proxy]

#管理接口的username
admin-username = user

#管理接口的password
admin-password = pwd

#Atlas后端连接的MySQL主库的IP和port，可设置多项，用逗号分隔
proxy-backend-addresses = 192.168.1.18:3306

#从库
proxy-read-only-backend-addresses = 192.168.1.16:3306@1
#username和password配置项，须要和主从复制配置的username和password配置一样
#pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
pwds = mastt:/iZxz+0GRoA=

#后台运行
daemon = true

keepalive = true

#工作线程数，对Atlas的性能有非常大影响，可依据情况适当设置
event-threads = 8

#日志级别，分为message、warning、critical、error、debug五个级别
log-level = message

#日志存放的路径
log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日>志且实时写入磁盘，默觉得OFF
#sql-log = OFF

#慢日志输出设置。
当设置了该參数时。则日志仅仅输出运行时间超过sql-log-slow（单位：ms)的日志记录。不设置该參数
则输出所有日志。

#sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分
#instance = test

#Atlas监听的工作接口IP和port
proxy-address = 192.168.1.18:8060

#Atlas监听的管理接口IP和port
admin-address = 192.168.1.18:2345

#分表设置。此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔。若不分表则不需
要设置该项
#tables = person.mt.id.3
tables=orders.my_orders.year.2015

#默认字符集。设置该项后客户端不再须要运行SET NAMES语句
charset = utf8

#同意连接Atlas的客户端的IP，能够是精确IP，也能够是IP段。以逗号分隔，若不设置该项则同意所有IP连接，否则仅仅允
许列表中的IP连接
#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置。否则能够不设置
#lvs-ips = 192.168.1.1


从以上配置能够清楚看到：

主库：192.168.1.18:3306

从库：192.168.1.16：3306    权重为1

注意：主从复制须要自行配置。

 

Atlas Proxy的ip和port为：192.168.1.18:8060

主从复制的用户和password为：mastt     123456,以上的pwds的password是经过加密处理的

若用Navicat登陆，就用Atlas Proxy的ip和port。username和password用主从复制的，主从复制的账户须要设置能够在Navicat上登陆。


分表配置项：

tables=orders.my_orders.year.2015

我的主从库名称是orders,里有三张表。各自是my_orders_0,my_orders_1,my_orders_2,按year字段进行分表，尽管分了2015张表，可是你的数据库里不一定有这么多张表。这里的2015仅仅是取模的一个基数，依照此规律去找到对应的表，比如year=2015，数据请求会发送到my_orders_0表。


编写简单Atlas的启动脚本：

[root@jhq0229 ~]# vim /etc/init.d/atlas


内容例如以下：

#!/bin/sh
#
#atlas:    Atlas Daemon
#
# chkconfig:    - 90 25
# description:  Atlas Daemon
#
# Source function library.
start()
{
        echo -n $"Starting atlas: "
        /usr/local/mysql-proxy/bin/mysql-proxyd test start
        echo 
}
stop()
{
        echo -n $"Shutting down atlas: "
        /usr/local/mysql-proxy/bin/mysql-proxyd test stop
        echo
}
ATLAS="/usr/local/mysql-proxy/bin/mysql-proxyd"
[ -f $ATLAS ] || exit 1
# See how we were called.
case "$1" in
        start)
                start
                ;;
        stop)
                stop
                ;;
        restart)
                stop
                sleep 3
                start
                ;;
        *)
                echo $"Usage: $0 {start|stop|restart}"
                exit 1
esac
exit 0

授权并增加开机启动

[root@jhq0229 ~]# chmod +x /etc/init.d/atlas
[root@jhq0229 ~]# chkconfig atlas on


启动atlas服务

[root@jhq0229 ~]# service atlas start


2.功能測试：

1）.利用mastt用户123456passwordNavicat登陆到192.168.1.18:8060查看数据库表，開始数据库中没有数据。

表结构例如以下：

CREATE TABLE `my_orders_0` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '表主键',
  `pid` int(10) unsigned NOT NULL COMMENT '产品ID',
  `price` decimal(15,2) NOT NULL COMMENT '单位价格',
  `num` int(11) NOT NULL COMMENT '购买数量',
  `person` varchar(255) NOT NULL COMMENT '客户姓名',
  `atime` int(10) unsigned NOT NULL COMMENT '下单时间',
  `utime` int(10) unsigned NOT NULL COMMENT '改动时间',
  `isdel` tinyint(4) NOT NULL DEFAULT '0' COMMENT '软删除标识',
  `year` smallint(5) unsigned NOT NULL COMMENT '年',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

插入数据 

INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('1', '123.54', '1', '周润发', '1426335606', '1426335606','2015');
INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('3', '13.67', '4', '周迅', '1426338765', '1426338765', '2016');
INSERT INTO `my_orders`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('4', '44.44', '4', '郭敬明', '1426754324', '1426754324','2017');

此时我们会看到my_orders_0，1。2表中分别有一条数据。15年的在0表，16年在1表，17年的在2表。


查询測试，假设不指定表的全名，查询时须要year字段作为where条件，否则不会通过，測试结果例如以下图：

       


读写分离測试,为了达到測试效果，我们在从库的my_orders_0表手动加入一条数据，语句例如以下：

INSERT INTO `my_orders_0`(`pid`,`price`,`num`,`person`,`atime`,`utime`,`year`) VALUES ('2', '212.54', '1', '梁朝伟', '1426335606', '1426335606','2015');

此时，主库的0表仅仅有一条数据。从表里有两条数据，假设我们运行查询语句

SELECT * FROM my_orders WHERE `year`=2015出现一条结果，则都的是主库，若出现两条则为从库。结果例如以下图：

        


证明已经读的是从库。


測试强制读主库，若运行语句/*master*/ SELECT * FROM my_orders WHERE `year`=2015有两条记录则读的是从库，假设是一条记录都的是主库，測试结果仅仅有周润发一条记录。


至此，Atlas的配置完成。假设将Atlas与Mysql表的分区联合使用能够大大提高大数据的处理能力，希望能够帮助到你。



     

posted @ 2016-01-29 21:37  mfrbuaa  阅读(880)  评论(0)  编辑  收藏  举报