问题：图片解析后url路径解析发生改变

背景：解析 站长素材首页的图片

看程序执行

在我执行完程序之后显示爬取成功 但是并没有爬取到图片

找错过程

把settings中的LOG_LEVEL = "ERROE"改成WARNING

 

就发现了警告信息

于是我又进行输出url

发现了本身爬取的url没有问题 但是用Request解析的时候就发现了解析错了

就找到了问题的的根源

使用Request对象构造请求，URL中的特殊字符没有被正确处理

改正方法

url = 'https://' + re.sub(r'\\', '/', item['src'])

在使用Request发送请求前，对url进行处理

这样就处理成功了