https://pic.cnblogs.com/avatar/1285461/20190710101247.png
摘要: Image Pipeline Scrapy 提供了专门下载文件或者图片的Pipeline,下载图片与文件的原理同抓取网页的原理是一样的,所以他们的下载过程支持多线程与异步,十分的高效 Image Pipeline的工作流程 1. itemPipeline从item中获取需要下载的数据,通过Reque 阅读全文
posted @ 2019-04-25 14:50 学一点也是好 阅读(1261) 评论(0) 推荐(0) 编辑