2019年10月20日
scrapy - 分布式爬虫
摘要： 1.scrapy工作原理 1.1组件介绍 调度器(Scheduler) ： 调度器实际上就是一个存取这待爬取URL的优先级队列，该队列集成过滤器及URL去重等功能 引擎(Scrapy Engine) ： 整个scrapy框架的核心，用于各组件间的协调及通信。 下载器(Downloader) ： 用于 阅读全文
posted @ 2019-10-20 21:12 风来与你安 阅读(326) 评论(0) 推荐(0) 编辑