2020年3月18日
scrapy在重复爬取的时候删除掉之前爬的旧数据，在爬虫结束的时候收集统计信息
摘要： 问题：想在启动scrapy后重复爬取某一天的数据，但是爬取之前需要删除掉之前的旧数据，在哪里实现删除呢？ 可以在pipeline的open_spider(self,spider)中删除，则在爬虫启动的时候会删除。 以下是pipelines.py 文件 # -*- coding: utf-8 -*- 阅读全文
posted @ 2020-03-18 23:19 cknds 阅读(1006) 评论(0) 推荐(0) 编辑