大表数据库字段长度修改事故

1.背景：设计了两个数据库：业务库和非业务库，两个数据库都设计了一主一从，程序上写主读从，现在有一张业务库主表地址字段长度需要修改加长，此业务表数据定时归档到归档表，归档表属于非业务库，归档表数据量为千万级。

2.操作流程

（1）事务执行归档表地址字段修改。

3.事故

事务执行过程中，新写入的数据查询不到，导致业务上数据验证不通过。

4.原因分析

写库事务执行没问题，读库事务执行时，读库事务堵塞，并且由于两个读数据库是同一个实例，导致两个读数据库都读不到数据。

根本原因是：写库事务是并行处理，读库事务是串行处理，读库的事务按顺序执行，其他事务必须等待，当一个事务执行过长，就导致主从数据库数据同步延迟。

5.解决方案

（1）做多个从库

（2）修改时将流量全部切到主库

（3）升级数据库到mysql 8.0，可秒级修改字段