Python：Scrap爬虫过程中遇到的各种错误

1、KeyError: 'Spider not found: BDS'

原因：settings.py中缺少了几项与spider名字配置相关的项：

BOT_NAME = 'BDS'
SPIDER_MODULES = ['County.spiders']
NEWSPIDER_MODULE = 'County.spiders'

2、 ValueError(f'Missing scheme in request url: {self._url}')

原因：路径没有使用正确，比如忘记加前缀https://

3、在用shell对网页进行测试时，一些网页后缀被当做了异常变量处理了

 

 解决方法：在进入shell模式之后，用fetch再爬取一次URL就可以了，这时候页面的内容保存在变量response中