2019年10月25日
scrapy-redis
摘要： scrapy-redis的源码并不多，因为它是利用Redis数据库重新实现了scrapy中的某些组件 对于一个分布式爬虫框架： 1、分配爬取的任务，为每个爬虫分配不重复的爬取任务 2、汇总爬取的数据，将所有爬取到的数据汇总到一个地方 scrapy-redis为多个爬虫分配爬取任务的方式是：让所有爬虫 阅读全文
posted @ 2019-10-25 14:06 tulintao 阅读(249) 评论(0) 推荐(0) 编辑