摘要: 官网log说明:https://docs.scrapy.org/en/latest/topics/logging.html#scrapy.utils.log.configure_logging 这里记一点容易遗漏的问题: 就是使用CrawlerProcesser类scrapy会加载settings. 阅读全文
posted @ 2019-11-26 16:45 liuxianglong 阅读(388) 评论(0) 推荐(0) 编辑
摘要: 官网中关于ReactorNotRestartable的错误描述(摘自:https://twistedmatrix.com/documents/16.1.0/api/twisted.internet.error.html),我们将从scrapy源码分析这个问题 重点要了解scrapy源码下的crawl 阅读全文
posted @ 2019-11-26 11:58 liuxianglong 阅读(3083) 评论(0) 推荐(0) 编辑