摘要：
全栈与架构 > 技术设计 Supervisor启动error: <class 'socket.error'>, [Errno 101] Network is unreachable 2015/08/03 技术设计 Linux，Python，Supervisor，Tornado 合作公司的MM今天送来 阅读全文
摘要：
解决Scrapy-Redis爬取完毕之后继续空跑的问题 1. 背景 根据scrapy-redis分布式爬虫的原理，多台爬虫主机共享一个爬取队列。当爬取队列中存在request时，爬虫就会取出request进行爬取，如果爬取队列中不存在request时，爬虫就会处于等待状态，行如下： E:\Minic 阅读全文