服务端线上接口监控实践
背景
最近上线了一个新的服务，这个服务有一个特点就是接入了n个第三方的数据服务，前端通过不同参数请求被测服务端，服务端根据参数不同proxy_pass到不同的后端服务器获取数据，处理后吐给前端展示；
问题
被测服务和后端服务都上线后，发现了一些问题
1、第三方服务器可能会宕机，导致线上的被测服务功能不正常；
2、现有的报警机制是基于对服务存活的检查，无法检查功能逻辑是否正常；
问题分析
现有的监控程序是对线上服务器进行服务进程存活检查，当进程挂掉才会报警，但是有一些情况cover不到，比如后端服务挂了，那么被测服务进程还在，但是当客户端请求时，无数据返回；
解决方案
使用脚本模拟客户端不同参数的请求，验证接口返回码200的同时，验证数据内容的正确性；
例：http://abc.sogou.com?type=music，会请求后端music服务器，正常情况下有内容{“name”:”abc”}
使用python的requests库请求服务端获得返回码&返回body，验证jsonobj中 含有key = name & value = abc
当有检查点失败时，向指定邮箱发报警邮件；
ps：之前偷听到一个小技巧，报警邮件可以指定到QQ邮箱，这样有报警邮件就能及时收到，因为微信有QQ邮箱的收件提醒，是不是想说一声，卧槽~这都可以~
衍生问题
1、case维护麻烦，因为使用python unittest框架，需要将检查点和请求参数维护到代码里，这样新增case比较麻烦
2、由于case维护在代码中，查看已有case也比较麻烦；
解决方案
1、将case和检查点存在db中，修改python脚本，从db中获取case和检查点，并执行
整体流程图
添加case
-
自定义参数组合、预置一些通用检查点，根据实际参数组合的预期返回值，勾选检查点
-
执行脚本根据db中这条case写入的检查点选择执行assert
-
后端提供一个查询db的接口，供前台页面展示case列表（如下）
存在问题
1、目前这套系统最大的问题是扩展性不好，耦合度较大，后面可以通过完善配置的方法解耦，并增加可扩展性；
