it_worker365

   ::  ::  ::  ::  :: 管理

DB分布式-两种方式

1. JDBC扩展
    sharding-jdbc: 直接封装JDBC,代码迁移成本低,适用于任何连接池及ORM框架,JAR包提供服务,未使用中间层,不用额外部署,DBA无需改变原有运维方式,使用DRUID sql解析器,速度快。
    分布策略灵活,SQL解析功能完善,能支持分布式生成全局主键,读写分离,柔性(努力送达)事物
 
盗图
   TDDL(taobao data distribute layer):中间层,以jar包形式调用
2. 服务中间件
    Amoeba: 独立中间件服务,用户链接amoeba操作Mysql集群,后端还是jdbc driver
    Cobar:后端jdbc driver改为原生的mysql通信协议层,这里将不支持Jdbc规范,但也更具灵活性
    Mycat : 增加nio方式,多种聚合,活跃
 
跨库分页-摘自网文,觉得不错

方法一:全局视野法

(1)将order by time offset X limit Y,改写成order by time offset 0 limit X+Y

(2)服务层对得到的N*(X+Y)条数据进行内存排序,内存排序后再取偏移量X后的Y条记录

这种方法随着翻页的进行,性能越来越低。

 

方法二:业务折衷法-禁止跳页查询

(1)用正常的方法取得第一页数据,并得到第一页记录的time_max

(2)每次翻页,将order by time offset X limit Y,改写成order by time where time>$time_max limit Y

以保证每次只返回一页数据,性能为常量。

 

方法三:业务折衷法-允许模糊数据 

(1)将order by time offset X limit Y,改写成order by time offset X/N limit Y/N

 

方法四:二次查询法

(1)将order by time offset X limit Y,改写成order by time offset X/N limit Y

(2)找到最小值time_min

(3)between二次查询,order by time between $time_min and $time_i_max

(4)设置虚拟time_min,找到time_min在各个分库的offset,从而得到time_min在全局的offset

(5)得到了time_min在全局的offset,自然得到了全局的offset X limit Y

 

 
posted on 2017-04-10 15:44  it_worker365  阅读(2129)  评论(0编辑  收藏  举报