会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
arcsinW
博客园
首页
新随笔
管理
2018年5月31日
[scrapy-redis] 将scrapy爬虫改造成分布式爬虫 (2)
摘要: 1. 修改redis设置 redis默认处在protection mode, 修改 , , 或者给redis设置密码, 将 这一行用 注释掉 2. 修改爬虫设置 向 加入以下设置 为master的ip加上redis的端口号 3. 修改爬虫代码 使爬虫继承自RedisSpider 增加一个 属性,这个
阅读全文
posted @ 2018-05-31 20:14 arcsinW
阅读(599)
评论(0)
推荐(0)
编辑