会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
清竹泪
博客园
首页
新随笔
联系
订阅
管理
2017年12月26日
基于requests+redis的分布式爬虫
摘要: 简单的网络爬虫是对一个url进行请求,并等待其返回响应。在数据量小的情况下很实用,但是当你的数据量很大,显然分布式爬虫就更占优势!关于分布式,一般是使用一台主机(master)充当多个爬虫的共享redis队列,其他主机(slave)采用远程连接master,关于redis如何安装,这里不多做介绍!
阅读全文
posted @ 2017-12-26 18:57 深度学习创新点
阅读(2753)
评论(0)
推荐(0)
编辑
公告