推广项目PC上线问题
1、清洗速度很慢
根据日志分析发现基本大量报错414,针对414的处理逻辑应该是拨号服务器机器人清洗项目(xx-robot-clean)切换IP后循环做报错的数据清洗。碰到这种结果我首先考虑的是没有拨号,检查代码发现了原因。机器人清洗项目从后台获取待清洗数据后,初始化第一次循环清洗全局参数Index为0,当检查报错414的数据就会存放到全局List容器里面,遍历List循环清洗,每次循环Index++,当index值为5时即最大循环5次就不再处理。因为没有初始化Index增长到5就不拨号,后续就产生了大量清洗数据保存414的问题。
2、做任务很慢
测试分发任务的接口,发现本来应该一次分发30条数据并发做任务的,发现接口只返回了5条。测试结果表明控制分发数据的逻辑出现了问题,原本是当剩余任务量在[30,500)每次分发5个,[500,1000)每次分发10,[1000,3000)每次分发30个......检查代码发现了原因。计算剩余任务量的逻辑出现问题,导致每次只分发默认的5个数据,每次仅仅并发做5个任务。