2017年10月27日
关于分布式爬虫
摘要： 小爬虫就是一半的单线程爬虫，入门。 多线程/协程爬虫是快速爬虫。 分布式爬虫是大规模爬虫。 说到分布式，好像很高大上的词，其实普通分布式很简单，单机爬虫种子可以放在程序的列表 queue队列 或者本机的mysql redis都可以。分布式爬虫最简单就是借助redis了，多个爬虫从同一台redis机器 阅读全文
posted @ 2017-10-27 16:11 北风之神0509 阅读(300) 评论(0) 推荐(0) 编辑