会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Believe in yourself.
eastonliu
记录测试路上的点点滴滴~
博客园
首页
新随笔
联系
订阅
管理
2018年11月5日
Scrapy学习(一)、Scrapy框架和数据流
摘要: Scrapy是用python写的爬虫框架,架构图如下: 它可以分为如下七个部分: 1、Scrapy Engine:引擎,负责控制数据流在系统的所有组件中流动,并在相应动作发生时触发时间。 2、Scheduler:调度器,从引擎接收Request并将它们入队,以便引擎再次请求Request时提供给引擎
阅读全文
posted @ 2018-11-05 20:24 eastonliu
阅读(971)
评论(0)
推荐(0)
编辑
公告