COMPLEX-B

摘要： 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/... 阅读全文

摘要： 1、最容易出现的问题是爬取到的url大多为相对路径，如果直接将爬取到的url进行二次爬取就会出现以下报错： raise ValueError('Missing scheme in request url: %s' % self._url)，该错误的意思是request的url为无效链接。 解决方法： 阅读全文

摘要： 显示这个错误可能有两个原因： 1、文件夹中没有包含__init__.py文件，该文件可以为空，但必须存在该文件。 2、把该文件当成主函数入口，该文件所在文件夹不能被解释器视作package，所以可能导致相对路径错误。 解决方法： 1、添加__init__.py文件 2、更改主函数入口位置，或者是导入 阅读全文

摘要： Scrapy的安装 1. Windows下安装流程： 方法一： 命令行执行pip install scrapy 安装scrapy 注意：如果有anaconda，也可以打开“Anaconda prompt”，激活环境以后使用命令：conda install scrapy 方法二：当遇到lxml报错信息 阅读全文