基于binlog的全量缓存架构

binLog的原理

基于binlog的全量缓存架构

优势

• 降低延迟 保证了毫秒级别
• 解决了分布式事务 基于ACK机制
• 提升代码的简洁性

缺点

• 系统复杂性
• 缓存的数据变多

技术优化

• 进行数据筛选
• 进行压缩

节约缓存大小

• 使用JOSN的字段替代
• 使用redis的hash结构 的字段代替

Mysql的binlog记录格式

• statement
  将所有修改的sql记录 并且重放
• row 推荐row
  记录每一行数据的变化 数据量较大
• mixed
  动态变化格式

binlog的消费逻辑

• 对于不同的表使用不同的topic实现 细节上的串行
• 对于binlog使用多个topic消费实现了binglog的消费的并行化

Redis 缓存结构设计

热点查询 高可用 资源浪费

微博热点 秒杀系统

• 问题
  • 造成从节点的浪费 热点问题一般是在某一个分片
  • 无法预先知道热点的分片位置

热点数据前置缓存(存放在应用中)