scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103

错误原因是在请求资源的时候没有使用完整的url

只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:

所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为以下：

    def get_media_requests(self, item, info):
        yield scrapy.Request('https:' + item['src'])

 



posted @ 2024-01-03 16:09  珊瑚贝博客  阅读(5)  评论(0)  编辑  收藏  举报