2018年10月7日
scrapy-redis分布式爬虫
摘要： 分布式问题： request队列集中管理 去重集中管理 储存管理 可以上github上面找一下scrapy-redis 相关模块 redis settings相关设置 运行分布式爬虫 其他的也就差不多一样的了 阅读全文
posted @ 2018-10-07 13:31 Caionk 阅读(278) 评论(0) 推荐(0) 编辑