摘要：
scrapy 分布式 前言 scrapy 首先是不能实现 分布式。 因为调度器不能被共享 管道不可以被共享 分布式 首先 分布式 是什么意识呢？ 就是 需要搭建一个分布式机群，然后在机群的每一台服务器中执行同一组程序，让其对某个网站的数据进行联合分布式爬取。 如何实现分布式 基于 scrapy +s 阅读全文
摘要：
今日概要 基于终端指令的持久化存储 基于管道的持久化存储 今日详情 1.基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件 阅读全文