摘要： # 特点： 1. scrapy利用twisted的设计实现了非阻塞的异步操作。这相比于传统的阻塞式请求，极大的提高了CPU的使用率，以及爬取效率。 1. 配置简单，可以简单的通过设置一行代码实现复杂功能。 1. 可拓展，插件丰富，比如分布式scrapy + redis、爬虫可视化等插件。 1. 解析 阅读全文