摘要： 1、创建与域名不一致的Request时，请求会报错 解决方法：创建时Request时加上参数dont_filter=True 2、当遇到爬取失败（对方反爬检测或网络问题等）时，重试，做法为在解析response时判断response特征，失败时yield Request(response.url)， 阅读全文