2018年9月3日

scrapy--redis(分布式爬虫)

摘要： 分布式爬虫:scrapy本身并不是一个为分布式爬取而设计的框架,但第三方库scrapy-redis为其扩展了分布式爬取的功能,两者结合便是一个分布式Scrapy爬虫框架。在分布式爬虫框架中,需要使用某种通信机制协调各个爬虫的工作,让每一个爬虫明确自己的任务： 前期准备:Redis的安装与基本知识(h 阅读全文

posted @ 2018-09-03 16:17 eilinge 阅读(443) 评论(0) 推荐(0) 编辑