2019年11月19日
如何控制分布式爬虫结束
摘要： Scrapy-Redis 空跑问题，redis_key链接跑完后，自动关闭爬虫 问题： scrapy-redis框架中，reids存储的xxx:requests已经爬取完毕，但程序仍然一直运行，如何自动停止程序，结束空跑。 相信大家都很头疼，尤其是网上一堆搬来搬去的帖子，来看一下 我是如何解决这个问 阅读全文
posted @ 2019-11-19 14:18 眼镜儿 阅读(870) 评论(0) 推荐(0) 编辑