2018年5月18日
Scrapy爬虫框架第七讲【ITEM PIPELINE用法】
摘要： ITEM PIPELINE用法详解： ITEM PIPELINE作用： 清理HTML数据 验证爬取的数据(检查item包含某些字段) 去重(并丢弃)【预防数据去重，真正去重是在url,即请求阶段做】 将爬取结果保存到数据库中 ITEM PIPELINE核心方法（4个） （1）、open_spider 阅读全文
posted @ 2018-05-18 23:04 疾风_lu 阅读(6005) 评论(0) 推荐(0) 编辑