CrawlSpider-Redis数据重复

爬取的实际数据:

 

RedisDeskManager读取的数据:

 

 

问题分析:

1. item返回处有问题,可能是有数据录入延迟,是数据库防重复的操作,使得前几条数据录入时和后面一条录入的数据相同

2. RedisDeskTopManager有bug

 问题解决:

 

 考虑到可能是输入录入太快,加上延时,也可以提高计算机或者数据库性能及相关参数,我这里设置sleep通过了。

效果:

 

 没有重复了。

posted @ 2021-11-09 17:20  Mello  阅读(130)  评论(0编辑  收藏  举报