Live2D
2019年11月27日
浅析scrapy与scrapy-redis的区别
摘要： 首先，要了解两者的区别，就要清楚scrapy-redis是如何产生的，有需求才会有发展，社会在日新月异的飞速发展，大量相似网页框架的飞速产生，人们已经不满足于当前爬取网页的速度，因此有了分布式爬虫，让其可以并行的爬取更多但又不尽相同的网页，这样大大节省了之前同步完成页面爬取所浪费的时间，同步与异步的 阅读全文
posted @ 2019-11-27 20:05 鸟-叔 阅读(692) 评论(0) 推荐(0) 编辑