阿里云-DRDS(转)
分库分表
拆分键
即分库/分表字段。 DRDS 根据拆分键的值将数据表水平拆分到后端的每一个 RDS 分库里。DRDS 里除了可以定义分库键以外,每一张逻辑表都可以定义自己的拆分键。拆分键暂时只能是单个字段。如果分库键与分表键相同,那么在插入时只需要指定该分库/分表键。如果分库键与分表键不同则在插入时需要同时指定分库键和分表键。
全表扫描
复杂的SQL语句会分发到所有库上执行,并且在 DRDS 中进行比较和合并。全表扫描相当消耗性能,应该在业务中尽量避免。
1) 在 INSERT / REPLACE 语句中必须包含分库分表的字段(拆分键)。
2) SELECT / UPDATE / DELETE 语句如果 WHERE条件中没有包含拆分字段,则会进行全表扫描。
3) 同一个拆分字段,AND 连接的条件个数只能为2,OR 连接的条件个数不限。
4) 同一个拆分字段的条件可以包含多个值,但每个值只能对应一种比较关系。
建表
您在手工建表的时候需要指定几个关键参数:
1) DBPARTITION BY hash(partition_key): 指定分库键和分库算法
2) TBPARTITION BY(可选): 默认与DBPARTITION相同 指定数据与物理表使用什么方式进行映射(指定分表键)
3) TBPARTITIONS(可选): 每个库上的物理表数目(默认为1),如您无需分表,则无需指定该字段
4) BROADCAST(与DBPARTITION BY互斥): 指定建广播表
示例
如果您希望建一个分表,每个库含有3张物理表,切分方式为库按照id列进行哈希,物理表按照id2列进行哈希(会根据id列的值进行hash运算后的结果将表中数据分布在多个子库中,每个子库中的数据再根据id2列值的hash运算结果分布在3个物理表中)
CREATE TABLE multi_db_multi_tbl
(id int auto_increment, id2 int, name varchar(30), primary key(id))
dbpartition by hash(id) tbpartition by hash(id2) tbpartitions 3;
除了可以使用哈希来做映射策略,还可以使用日期类策略MM/DD/WEEK/MMDD来进行映射,但只限于对物理表的映射时可用,这种方式大部分用于将不同的日期的数据进行物理表集中,如业务员操作日志。
公司A的日志系统记录营业员进行的所有操作,按照营业员id以及按照一周七天来切分
CREATE TABLE user_log
(userId int, name varchar(30), operation varchar(30), actionDate DATE)
dbpartition by hash(userId) tbpartition by WEEK(actionDate) tbpartitions 7;
SQL大类的限制与约束
- 暂不支持用户自定义数据类型、自定义函数
- 暂不支持视图、存储过程、触发器、游标
- 暂不支持类似 BEGIN…END,LOOP...END LOOP,REPEAT...UNTIL...END REPEAT,WHILE...DO...END WHILE 等的复合语句
- 暂不支类似 IF,WHILE 等流程控制类语句
- 全面的DML支持,有限的DDL支持,有限的控制指令支持
不支持的语法:
- 受限于分布式事务
- 跨分片操作, UPDATE/DELETE [ORDER BY] LIMIT
- 跨分片操作, UPDATE A,B set A.s = B.s+1 WHERE A.ID = B.NAME , 非拆分字段之间的跨库JOIN
- 拆分键变更, UPDATE A SET A.ID = 1 WHERE XXX, ID为拆分字段
- 跨分片操作, INSERT A SELECT B WHERE B.ID > XX , 跨库导入导出数据
- 跨库事物, 比如两次UPDATE不在一个分片上
- 子查询限制
- 暂不支持非where条件的correlate subquery
- 暂不支持sql中带聚合条件和correlate subquery
DRDS自定义指令
- SHOW SEQUENCES / CREATE SEQUENCE / ALTER SEQUENCE / DROP SEQUENCE 【全局sequence管理】
- SHOW PARTITIONS FROM TABLE 【查询表的拆分字段】
- SHOW TOPOLOGY FROM TABLE 【查询表的物理拓扑】
- SHOW BRAODCASTS 【查询所有广播表】
- SHOW RULE [FROM TABLE] 【查询表拆分定义】
- SHOW DATASOURCES 【查询后端DB链接池定义】
- SHOW DBLOCK / RELEASE DBLOCK 【分布式LOCK定义】
- SHOW NODE 【查询读写库流量】
- SHOW SLOW 【查询慢SQL列表】
- SHOW PHYSICAL_SLOW 【查询物理DB执行慢SQL列表】
- TRACE SQL_STATEMENT / SHOW TRACE 【跟踪SQL执行,profile整个执行过程】
- EXPLAIN [DETAIL/EXECUTE] SQL_STATEMENT 【分析DRDS执行计划和物理DB上的执行计划】
- RELOAD USERS 【同步DRDS控制台用户信息到DRDS SERVER】
- RELOAD SCHEMA 【清理DRDS对应DB库数据缓存,比如SQL解析/语法树/表结构缓存】
- RELOAD DATASOURCES 【重建后端与所有DB的链接池】
读写分离
DRDS的读写分离功能是一种对应用透明的读写分离实现,应用在不需要修改任何代码的情况下,只需要在DRDS控制台中调整读权重,即可将流量按照需要的比例在主实例与多达5个只读实例之间调整。写权重则统一走主实例,不分流。
落到只读实例上读所操作的数据都是从主实例上异步同步的,延迟在毫秒级别,所以个别要求实时性的SQL请通过DRDS hint 指定主库执行。
DRDS的读写分离指的是对事务外的查询请求做读写分离, 事务中出现写请求后, 当次事务中所有读请求会走到主库,而不会按照设置的读写分离权重