测试数据库故障复盘

DEAL ALL:
          大家好，昨天AMSV3.6测试数据库故障已恢复正常，针对本次的故障进行复盘总结：

 

问题描述：

由于硬件/底层系统问题，AMS测试数据库受损，业务测试无法正常开展。

 

问题影响：

影响版本测试时间1.5天（故障处理时长1天，db恢复验证花费0.5天），造成测试时间的损耗，影响到版本发布计划。

 

解决方案：

1.拉通测试运维、研发/测试，在1.27凌晨2点恢复了db基础数据，1.28上午修复配置数据并重新构造测试数据，问题得以解决

2.不影响版本正常上线：测试、产品周末加班进行测试及验收，保证按原计划(1月31日)上线

 

改善措施：

1. 测试环境问题管理机制：出现阻塞进度的问题发生时，测试人员务必走系统工单上报问题，及时联系问题处理人处理问题；

1) 工单超出5分钟未得到响应，则电话工单责任人/测试运维值班人

参考：http://confluence.sf-express.com/x/F4ppBg

2) 问题超过2小时未得到解决，项目测试Lead将问题上升到部门Lead，并拉起电话会议将研发、测试、测试运维主要负责人等拉入，处理问题并全程跟进问题处理过程；

3) 实时跟进问题处理状态，跟相关干系人反馈进度。直到问题得以解决；

2. 问题复盘机制：在阻塞问题解决后，1天内完成问题复盘，包含内容如下。

1) 问题描述/影响范围/解决方案/改善计划

2) 统计问题处理的时效，并登记好问题到wiki

参考：http://confluence.sf-express.com/x/s_MdC

3) 复盘结果，以邮件等正式文书通知

3. 针对本次问题的行动计划

1) 配置类数据，定期从生产环境同步到测试环境并及时做本地备份。

2) 就测试DB的管理问题，协同部门领导将IBU科技所有业务线的非云环境DB迁移到顺丰云;对于无法迁移上云的部分环境，测试数据库要做好主从备份或本地备份。预计2月底前完成；-- 责任人：王渊、张学飞

3) 在IBU科技研发质量内部，完成一次问题处理和复盘总结。预计2月3号前完成； -- 责任人：张学飞

 

附：

一、复盘会议纪要

问题过程	问题跟进方
在DBA数据库无前兆崩溃，表数据丢失的情况，未深挖具体原因，等待DBA恢复数据，DBA恢复失败导致浪费了一中午的时间，未及时升级问题，比较被动	测试侧、DBA
如果问题超时未得到处理，要及时跟进，启动应急响应机制（如电话值班人、研发/测试主管）拉通相关人员快速解决问题。	研发侧、测试侧
非云数据库上云，多次失败，仍然在上云计划中;但是由于版本测试影响，未及时跟进	研发侧
针对数据库故障、应用服务器、中间件故障宕机等系统级别的故障，在无法重启恢复的情况下，应当第一时间去上报it服务台，电话、会议联系对应（运维、DBA）负责人处理,同时快速反馈上级负责人	研发侧、测试侧