2019年10月25日
Scrapy去重
摘要： 一、原生 1、模块 2、RFPDupeFilter方法 a、request_seen 核心：爬虫每执行一次yield Request对象，则执行一次request_seen方法 作用：用来去重，相同的url只能访问一次 实现：将url值变成定长、唯一的值，如果这个url对象存在，则返回True表名已 阅读全文
posted @ 2019-10-25 23:45 市丸银 阅读(684) 评论(0) 推荐(0) 编辑