会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
WangC.W
爱代码、爱编程、爱生活
博客园
首页
新随笔
联系
订阅
管理
2017年9月11日
scrapy框架解读--深入理解爬虫原理
摘要: scrapy框架结构图: 组成部分介绍: Scrapy Engine: 负责组件之间数据的流转,当某个动作发生时触发事件 Scheduler: 接收requests,并把他们入队,以便后续的调度 Downloader: 负责抓取网页,并传送给引擎,之后抓取结果将传给spider Spiders: 用
阅读全文
posted @ 2017-09-11 10:10 WangC.W
阅读(2043)
评论(0)
推荐(0)
编辑
公告