摘要：
1.概念：多台机器上可以执行同一个爬虫程序，实现网站数据的分布爬取 2.原生的scrapy是不可以实现分布式式爬虫 a）调度器无法共享 b）管道无法共享 3.scrapy-redis 组件：专门为scrapy开发的一套组件，该组件可以让scrapy实现分布式 a）pip install scrapy 阅读全文
摘要：
redis 64位下载地址：https://github.com/ServiceStack/redis-windows，本人测试使用的是redis-64.3.0.503版本。 启动redis: redis-server.exe redis.windows.conf 将redis加入到windows的 阅读全文