2019年1月15日
scrapy-redis 分布式爬虫
摘要： 为什么要学？ Scrapy_redis在scrapy的基础上实现了更多，更强大的功能。 有哪些功能体现？ request去重、爬虫持久化、实现分布式爬虫、断点续爬（带爬取的request存在redis中）、增量式爬虫（爬取过的生成指纹） 工作流程 先来看看之前的爬虫流程 再来看看scrapy_red 阅读全文
posted @ 2019-01-15 23:36 Tanglaoer 阅读(588) 评论(0) 推荐(1) 编辑