2021年12月13日
Scrapy管道
摘要： 管道简介 作用是处理抓取的数据，包括 清洗数据 检查抓取的数据是否有效 去重 保存数据 一个项目包含多条管道，爬虫收集到的Item会根据指定顺序传递给管道进行处理。 官方的项目管道的典型用途有 清理HTML数据 验证抓取的数据（检查项目是否包含某些字段） 检查重复项（并删除它们） 将爬取的项目存储在 阅读全文
posted @ 2021-12-13 15:49 索匣 阅读(317) 评论(0) 推荐(0) 编辑