会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
MC_Hotdog
Yeah, you're right I'm still riding that crappy bike
博客园
首页
新随笔
联系
管理
订阅
2019年9月1日
Scrapy之下载中间件与爬虫中间件
摘要: 执行流程 1.引擎找到要执行的爬虫,并执行爬虫的start_requests方法,并得到一个迭代器 2.迭代器循环时候会获取到Request对象,而request对象中封装了要访问的url和回调函数 3.将所有的request对象(任务)放到调度器中,用于以后被下载器下载 4.下载器去调度器中获取要
阅读全文
posted @ 2019-09-01 22:10 MC_Hotdog
阅读(711)
评论(0)
推荐(0)
编辑