2015年11月5日
(5)分布式下的爬虫Scrapy应该如何做-windows下的redis的安装与配置
摘要： 软件版本： redis-2.4.6-setup-64-bit.exe— Redis 2.4.6 Windows Setup (64-bit) 系统： win7 64bit 本篇的内容是为了给分布式下的爬虫做好预热的环境准备，我们知道单机的爬虫始终会有一个性能瓶颈，特别是对于是否爬过的URL来说，存... 阅读全文
posted @ 2015-11-05 14:51 爱吃猫的鱼 阅读(658) 评论(0) 推荐(0) 编辑