摘要：
如果爬虫在服务器中持续运行，那么日志都会写入到一个文件中，这样不方便管理日志 在custom_settings 中配置了爬虫日志的生成， 以下是删除旧的日志的代码 阅读全文
摘要：
首先解决爬虫等待，不被关闭的问题： 1、scrapy内部的信号系统会在爬虫耗尽内部队列中的request时，就会触发spider_idle信号。 2、爬虫的信号管理器收到spider_idle信号后，将调用注册spider_idle信号的处理器进行处理。 3、当该信号的所有处理器(handler)被 阅读全文