Taobao DBA技术交流
Taobao DBA技术交流
基础技术保障
- 负责系统运行保障,包括发布
- 对可用性负责
- 可以对发布的应用说不,要求整改
- 参与架构变化决策
大体技术架构、组织架构
淘宝各中心数据基本不冗余,中心之间不能直接访问数据,可以通过服务调用。
中心:商品管理中心,交易中心,登录管理,etc
阿里原先靠数据共享来解决:淘宝、天猫等系统共存问题,甚至可能数据都不是共享的,结构也不一样。
后来做了规整,所以会有个达尔文计划。
目前阿里把(TDDL,HSF,Notify)放在了共享团队
技术交流
阿里的人说:
- mysql能上2w个连接,5.6版本mysql自己也有个连接池管理技术
- 相同硬件下,单机能力oralce的性能是mysql的1.x倍
- TDDL,只能2表join。
- 看下google分布式事务论文(Large-scale Incremental Processing Using Distributed Transactions and Notifications )
- 说他们数据库迁移时可以不锁库。
- 测试数据准备,测试要求:需要有量,覆盖有各种流程,同步生产数据,对生产数据进行集中混淆,造各种异常数据
- 淘宝有个沙箱环境,可以视为准生产环境,进行各种测试
- 事务相关设计,看下: 软状态 最终事务一致性 事件驱动
- 通过notify解决事务一致性,notify不保证顺序,分布能力较强
- 需要确保顺序的时候,采用metaQ