2019年3月5日
scrapy数据增量式爬取
摘要： 爬取过的数据跳过1、通过url判断2、通过数据指纹判断 创建爬虫项目 ：scrapy startproject xxx cd xxx 创建爬虫文件：scrapy genspider -t crawl spidername www.xxx.com 一、根据url判断 爬虫文件 在管道文件里进行存储 二 阅读全文
posted @ 2019-03-05 19:43 神神气气 阅读(1612) 评论(0) 推荐(0) 编辑