2018年3月23日
scrapy去重
摘要： 自定义去重 -类。自定义一个类。DUPEFILTER_CLASS = 'sp2.rep.RepeatUrl' -配置文件中指定 ：scrapy.dupefilter.RFPDupeFilter scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有 阅读全文
posted @ 2018-03-23 18:50 老王的农场 阅读(2362) 评论(0) 推荐(0) 编辑