Strava
2020年10月13日
scapy_redis的简单学习
摘要： 利用redis和scarpy配合可以实现增量式爬虫，其中scrapy_redis尤为重要 1. DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 指纹去重：其功能就是为每一个request返回一个唯一标示本身的指纹，判断和记录是否请 阅读全文
posted @ 2020-10-13 21:44 cheflone 阅读(123) 评论(0) 推荐(0) 编辑