数据库系列：大厂使用数据库中间件解决什么问题？
相关文章
数据库系列：MySQL慢查询分析和性能优化
数据库系列：MySQL索引优化总结（综合版）
数据库系列：高并发下的数据字段变更
数据库系列：覆盖索引和规避回表
数据库系列：数据库高可用及无损扩容
数据库系列：使用高区分度索引列提升性能
数据库系列：前缀索引和索引长度的取舍
数据库系列：MySQL引擎MyISAM和InnoDB的比较
数据库系列：InnoDB下实现高并发控制
数据库系列：事务的4种隔离级别
数据库系列：RR和RC下，快照读的区别
数据库系列：MySQL InnoDB锁机制介绍
数据库系列：MySQL不同操作分别用什么锁？
数据库系列：业内主流MySQL数据中间件梳理
1 背景
互联网大厂的业务场景，业务流量的规模都可以达到千万甚至亿级别，这时候简单的数据层连接和调用无法承接业务规模的需求。
需要数据库中间件来管理一些中间桥接工作，类似 连接池、负载均衡、故障隔离、监控预警等工作，大幅度提高性能和稳定性，应对大流量的冲击。
下面我们具体来看看，我们使用数据库中间件具体解决哪些存在痛点的业务场景。
2 数据库中间件解决的问题和实现方案
2.1 连接池管理
2.1.1 业务场景
客户端连接无限制，不可复用，不可隔离，业务间互相影响（如单个服务超载调用可能导致雪崩）
2.1.2 解决方案
归口到Proxy统一管理，提供连接池、连接数限制、重试、超时断开保护等能力。
如上，各业务线统一读写访问入口，所以业务连接池不会有
db1.read:3306,db2.write.com:3306
而是统一只有
db.all:3306
Service服务对db的访问，统一到一个入口上来了，由中间层来对请求进行智能路由、连接池管理、限流、重试、超时等工作。这种模式解决了业务直接管理数据实现层的问题。
2.2 读写分离机制
2.2.1 业务场景
需要为业务提供读写分离机制，而不是由业务花费精力去维护
2.2.2 解决方案
数据服务存在主从部署模式，业务在路有时Porxy自动区分读写，写路由到主存储服务（master），读路由到从存储服务（slave）
对业务是透明的，业务开发的同学无需关注读写的隔离。
这边可以看到，Proxy会自动将读和写操作分流，业务开发人员无需关注即可。
2.3 负载均衡策略
2.3.1 业务场景
需要为数据库分片提供负载均衡机制，如果多个读库甚至多个写库，需要一定的负载策略，类似VIP
2.3.2 解决方案
归口到Proxy统一管理，提供负载均衡能力，包括但不限于：
- 轮询（Round Robin）
- 来源 IP 哈希（IP Hash）
- 最少连接（Least Connection）
- 加权轮询（Weighted Round Robin）
- 加权最少连接（Weighted Least Connection）
- 随机策略
2.4 数据库分库分表sharding
2.4.1 业务场景
数据量比较大的场景下，需提供业务分库分表能力
2.4.2 解决方案
调用方屏蔽分表细节，跟单表操作一直。Proxy实现对分库分表的核心细节，不同大部分中间件会有一些限制（如带分表字段，不支持跨库join等）
从上面的图中可以看到，Proxy在逻辑表和物理表中间起桥接作用，开发同学不需要知道太多细节，也不需要改变访问的SQL脚本。
2.5 故障切换
2.5.1 业务场景
主/备发生异常、宕机等故障，需业务来处理故障切换
2.5.2 解决方案
屏蔽后端DB故障问题，自动故障切换
-
master 故障，slave切换为master
-
slave 故障，多副本模式下进行异常副本的驱逐
-
slave 故障，单实例情况下读写都调度到master
2.6 安全保障等
| 常见问题 | 说明 | 解决方案 |
|---|---|---|
| 权限 | 1. 账号权限放太开，没有最小化权限； 2.机器迁移等都需手动申请权限较麻烦 |
1. 通过user/pwds/ip等做权限控制，最小化权限。 2. 机器迁移自动权限扩缩容。 |
| 安全 | 需业务自己处理sql注入，核心数据加密等问题 | Proxy增加一层保护机制，包含sql注入，sql黑名单（如sleep/drop），数据加密等 |
| 日志审计 | MySQL 数据被修改了，无法确认被谁修改的 | 提供便捷的日志审计，日志流控和动态变更，方便定位查询 |
2.7 监控和预警
2.7.1 业务场景
需业务根据自己需求搭建监控系统
2.7.2 解决方案
提供诸多监控和预警能力，包括但不限于：
连接数监测、慢查询数统计、慢请求Sql采集、Sql语句统计、索引命中率分析、索引分析、DB负载、所属主机性能分析
2.8 备份和恢复能力
2.8.1 业务场景
Proxy需要为业务提供备份能力，通过简单配置即可，避免业务花费较大精力关注
2.8.2 解决方案
- 提供多种类备份策略，一键配置
- 全量备份
- 增量备份
- 备份模式
- 定时备份
- 手动备份
- 通过管控平台功能快速恢复数据
- 指定范围恢复，精确到表
- 指定时间恢复，精确到秒
参考以下备份流程：
3 总结
本文介绍了互联网场景数据库中间件主要解决的业务难题，后续有时间我们详细介绍下下业内评价较高的几种数据库中间件，如 ProxySQL、 DBProxy、TDDL 等。
