scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103

错误原因是在请求资源的时候没有使用完整的url

只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:

所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为以下：

    def get_media_requests(self, item, info):
        yield scrapy.Request('https:' + item['src'])

 



posted @   珊瑚贝博客  阅读(10)  评论(0)  编辑  收藏  举报
相关博文：
·  scrapy使用文件管道FilesPipeline下载视频
·  scrapy下载大文件失败问题
·  scrapy爬取图片报错Missing scheme in request url:
·  Scrapy_ImagePipeline保存图片
·  scrapy框架图片爬取
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· winform 绘制太阳，地球，月球 运作规律
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）
· 超详细：普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
点击右上角即可分享
微信分享提示
AI IDE Trae