摘要： ITEM PIPELINE用法详解： ITEM PIPELINE作用： 清理HTML数据 验证爬取的数据(检查item包含某些字段) 去重(并丢弃)【预防数据去重，真正去重是在url,即请求阶段做】 将爬取结果保存到数据库中 ITEM PIPELINE核心方法（4个） （1）、open_spider 阅读全文