爬虫遇到的报错

1、ValueError:Missing scheme in request url: h

相关URL必须是一个List，改为LIst即可

2、Connection was closed

加UA头或者进行代理

UA头中HOST：

1. host字段可以是域名，也可以是ip地址。host字段域名/ip后可以跟端口号，如Host: www.6san.com:8080
2. host可以由程序自定义，某些程序为了防止运营商或防火墙拦截会定义虚假host
3. http1.1中host字段可以是空值，http1.0中可以缺失host字段
4. http响应头中不包含host字段，所以wireshark中http.host过滤到的都是请求包
5. 因为http头中的host字段可以由程序自定义，所以host字段的值就会有很多特殊情况，如包含多个’/'字符的HOST头信息，结尾含有”.”等

在http 1.1中不能缺失host字段，如果缺失,，服务器返回400 bad request，http1.1中不能缺失host字段，但host字段可以是空值。

3、'urllib' has no attribute 'urlretrieve'

 

4、Telnet console listening on 127.0.0.1:6023”

403是禁止访问，查到

代理问题导致有些网站无法访问，解决方法是在settings.py中修改：
DOWNLOADER_MIDDLEWARES = {

'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,

}