令狐葱

大漠孤烟直,长河落日圆。

博客园 首页 订阅 管理

2017年11月29日 #

摘要: scrapy的架构分析 1、Scrapy Engine(Scrapy引擎) Scrapy引擎是用来控制整个系统的数据处理流程,并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2、Scheduler(调度) 调度程序从Scrapy引擎接受请求并排序列入队列,并在Scrapy引擎发出请求 阅读全文
posted @ 2017-11-29 17:01 livermorium116 阅读(186) 评论(0) 推荐(0) 编辑