摘要：
项目引用org.slf4j打印日志，配置文件logback-spring.xml设置了日志打印路径。日志文件类型分为error.log、warn.log、info.log、debug.log，各种类型的文件输出满10M就会自动汇总生成带有日期的大文件，每天自动汇总生成带有日期的大文件。 error. 阅读全文
摘要：
1、背景： 数据在使用的过程中会慢慢衰减，原因是数据使用频繁会被冻结一段时间和其他一些造成数据某个时间点不可用的未知因素，基于这中现象有必要设计清洗历史数据。我们当前原始清洗过程只是负责获取基本信息，因为历史数据的清洗会出现获取基本信息后不能做任务，所以我的设计将清洗历史数据分成初次清洗和二次清洗两 阅读全文
摘要：
推广项目架构体系不断完善已经发展到3台云服务器和105台拨号服务器，其中2台云服务器和71台拨号服务器同时支持老版架构项目的运营和新版架构项目的测试。2台云服务器是每个月底续费，71台拨号服务器分两个时间段提前两天续费，十一假期的提前休息导致了云服务器的漏续费。 推广项目整个平台的开发和维护由两个人 阅读全文
摘要：
1、背景： 数据方请求后台数据存储项目（xx-cookie-catchs）上传文件，后台接收原始加密文件后存储到指定路径（存储不同数据方的加密文件），定时解密文件到指定路径（存储不同数据方的解密文件），再定时存储加密文件到数据库（存储不同数据的数据）。 2、问题： 数据方上传的文件个数不匹配，例如某 阅读全文
摘要：
犯了傻逼的错误，感觉自己真该！ NOT IN优化成NOT EXISTS后性能提升了10%，部署新服务器数据量积累到一定数量后发现总有问题：80w数据量的大表（cookie_clean_t）关联不到1w数据量的临时表（cookie_short_run_t）提供的接口很大一部分请求打印的耗时达到4s甚至 阅读全文
摘要：
1、背景 数据初次清洗完成后，在做任务的过程中数据会不断衰减。当把初次清洗的数据后续衰减后，再次以做任务的方式清洗（做任务成功就代表数据可用）发现数据又可用了。由此推测部分数据可能有个冷却时间，当冷却时间过后又可以做任务，针对这种分析结果设计了旧数据循环清洗的功能。 2、设计方案 2.1、每10天的 阅读全文
摘要：
1、背景 根据数据实时监控查询文章点赞数量，确定订单任务执行进度是否完成！ 2、日志分析 -100， -105 客户端身份校验失败， 1040002 系统繁忙， 20101 该微博不存在， 20112 Permission Denied! 3、处理方案 监控日志发现-100和-105表示查询文章数量 阅读全文
摘要：
1、查询某个字段不含字符的数据 SELECT uid FROM cookie_record_succ_t WHERE uid REGEXP '(^[0-9]+.[0-9]+$)|(^[0-9]$)' 2、两表关联批量更新 UPDATE cookie_clean_t cct INNER JOIN co 阅读全文
摘要：
1、清洗速度很慢 根据日志分析发现基本大量报错414，针对414的处理逻辑应该是拨号服务器机器人清洗项目（xx-robot-clean）切换IP后循环做报错的数据清洗。碰到这种结果我首先考虑的是没有拨号，检查代码发现了原因。机器人清洗项目从后台获取待清洗数据后，初始化第一次循环清洗全局参数Index 阅读全文
摘要：
1、背景 定时维护数据项目（xx-auto-maintain）汇总了每天清洗后结算的数据，数据需要提供给数据方预览。 2、实现方案 为了快速方便数据方看到结算数据，在定时维护数据项目中开放了一个接口传输数据到一个简单的html页面展示。直接Postman请求接口可以获取数据，本地打开页面也能展示数据 阅读全文