2017年12月26日
基于requests+redis的分布式爬虫
摘要： 简单的网络爬虫是对一个url进行请求，并等待其返回响应。在数据量小的情况下很实用，但是当你的数据量很大，显然分布式爬虫就更占优势！关于分布式，一般是使用一台主机（master）充当多个爬虫的共享redis队列，其他主机（slave）采用远程连接master，关于redis如何安装，这里不多做介绍！ 阅读全文
posted @ 2017-12-26 18:57 深度学习创新点 阅读(2753) 评论(0) 推荐(0) 编辑