2018年9月7日
Scrapy+Scrapy-redis+Scrapyd+Gerapy 分布式爬虫框架整合
摘要： 简介：给正在学习的小伙伴们分享一下自己的感悟，如有理解不正确的地方，望指出，感谢~ 首先介绍一下这个标题吧~ 1. Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。 2. Scrapy-redi 阅读全文
posted @ 2018-09-07 16:19 邻家大男孩 阅读(4724) 评论(0) 推荐(1) 编辑