2019年2月19日
Scrapy 框架流程详解
摘要： 框架流程图 Scrapy 使用了 Twisted 异步非阻塞网络库来处理网络通讯，整体架构大致如下(绿线是数据流向)： 简单叙述一下每层图的含义吧： Spiders(爬虫器)：它负责处理所有Responses，从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Sc 阅读全文
posted @ 2019-02-19 15:26 失恋的蔷薇 阅读(7176) 评论(0) 推荐(1) 编辑