会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
kisun..
永远不要假装努力,因为人生不会陪着你演戏
博客园
首页
新随笔
联系
订阅
管理
2019年10月20日
scrapy - 分布式爬虫
摘要: 1.scrapy工作原理 1.1组件介绍 调度器(Scheduler) : 调度器实际上就是一个存取这待爬取URL的优先级队列,该队列集成过滤器及URL去重等功能 引擎(Scrapy Engine) : 整个scrapy框架的核心,用于各组件间的协调及通信。 下载器(Downloader) : 用于
阅读全文
posted @ 2019-10-20 21:12 风来与你安
阅读(318)
评论(0)
推荐(0)
编辑
公告