2018年3月28日
Python36 使用Redis 构建分布式爬虫（未完）
摘要： 很长时间未更新了，人懒了。 最近有不少的东西，慢慢写吧，最近尝试了一下python 使用Redis 来构建分布式爬虫； 单体爬虫有很多缺点，但是在学习过程中能够学习爬虫的基本理念与运行模式，在后期构建健壮的爬虫还是很有用的；获取代理，构造Header伪装，构造Referer..... 在分布式里一样 阅读全文
posted @ 2018-03-28 18:28 mail_maomao 阅读(192) 评论(0) 推荐(0) 编辑