2021年5月31日
scrapy中如何处理大文件下载？
摘要： scrapy不建议通过爬虫文件来发送请求下载大文件，而是通过scrapy已经封装好的管道类去执行，效率更高 管道类： from scrapy.pipelines.files import FilesPipeline # 专门用来下载文件的管道类 from scrapy.pipelines.image 阅读全文
posted @ 2021-05-31 01:00 eliwang 阅读(477) 评论(0) 推荐(0) 编辑