摘要： 1.当爬取页面状态码是异常状态码，但response是正常的时候，正常情况Scrapy框架会判断状态码，如果不是正常状态码会停止后续操作 解决方案: 在meta"handle_httpstatus_all": True yield scrapy.Request(url=hear,callback=s 阅读全文

摘要： 1.在scrapy.Request方法里边加上参数dont_filter=True（去重） 2.增加是不是allowed_domains范围内的url 3.yield Request 改为yield scrapy.http.Request 4.在scrapy.Request方法里边添加errback 阅读全文

摘要： Navicat 连接MySQL数据库 报错2059 - authentication plugin ‘caching_sha2_password‘的解决办法 2059 - Authentication plugin 'caching_sha2_password' #在数据库的命令行中输入以下代码即可 阅读全文