2018年8月2日
Python爬虫【五】Scrapy分布式原理笔记
摘要： Scrapy单机架构 在这里scrapy的核心是scrapy引擎，它通过里面的一个调度器来调度一个request的队列，将request发给downloader，然后来执行request请求 但是这些request队列都是维持在本机上的，因此如果要多台主机协同爬取，需要一个request共享的机制— 阅读全文
posted @ 2018-08-02 18:48 bep_code 阅读(1075) 评论(0) 推荐(0) 编辑