摘要：Scrapy使用了Twisted异步网络库来处理网络通讯。整体架构大致如下（注：图片来自互联网）Scrapy主要包括了以下组件：引擎，用来处理整个系统的数据流处理，触发事务。调度器，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。下载器，用于下载网页内容，并将网页内容返回给蜘蛛。蜘... 阅读全文