爬取的实际数据:
RedisDeskManager读取的数据:
问题分析:
1. item返回处有问题,可能是有数据录入延迟,是数据库防重复的操作,使得前几条数据录入时和后面一条录入的数据相同
2. RedisDeskTopManager有bug
问题解决:
考虑到可能是输入录入太快,加上延时,也可以提高计算机或者数据库性能及相关参数,我这里设置sleep通过了。
效果:
没有重复了。