2021年11月9日
CrawlSpider-Redis数据重复
摘要： 爬取的实际数据： RedisDeskManager读取的数据： 问题分析： 1. item返回处有问题，可能是有数据录入延迟，是数据库防重复的操作，使得前几条数据录入时和后面一条录入的数据相同 2. RedisDeskTopManager有bug 问题解决： 考虑到可能是输入录入太快，加上延时，也可 阅读全文
posted @ 2021-11-09 17:20 Mello 阅读(133) 评论(0) 推荐(0) 编辑