2019年8月19日
【Python3爬虫】学习分布式爬虫第一步--Redis分布式爬虫初体验
摘要： 一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 阅读全文
posted @ 2019-08-19 09:06 onionono 阅读(767) 评论(0) 推荐(0) 编辑