会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
_慕
等风,也等你
首页
新随笔
联系
订阅
管理
2017年12月3日
爬虫笔记三
摘要: 一、Scrapy 爬虫框架学习 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下: Scrapy主要包括了以下组件: 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在
阅读全文
posted @ 2017-12-03 20:40 _慕
阅读(535)
评论(0)
推荐(0)
编辑
公告
Title
返回顶部