Scrapy 分布式爬取
摘要：
由于受到计算机能力和网络带宽的限制，单台计算机运行的爬虫咋爬取数据量较大时，需要耗费很长时间。分布式爬取的思想是“人多力量大”，在网络中的多台计算机同时运行程序，公童完成一个大型爬取任务， Scrapy 本身并不是一个为分布式爬取而设计的框架，但第三方库 scrapy-redis 为基扩展了分布式爬 阅读全文
posted @ 2019-05-27 13:20 海纳百川_有容乃大 阅读(152) 评论(0) 推荐(0) 编辑
