蒙古小铁驴

摘要： 写一个爬虫需要做很多事情，比如：发送网络请求、数据解析、数据存储、反反爬虫机制(更换ip地址、设置请求头等)、异步请求等。从零开始写这样的爬虫比较麻烦，因此使用Scrapy框架则非常方便，而且效率非常高。 Scrapy架构图： Scrapy流程图(1)： 引擎(Scrapy Engine)：用来处理 阅读全文