摘要： scrapyrt为scrapy提供了一个http接口，有了它，我们不用再执行命令，而是直接请求一个http接口来启动项目，如果项目是部署在远程的，会比较方便。 1、安装： pip install scrapyrt 2、在任意一个项目中运行scrapyrt，再此我们在quotes爬虫项目中运行。默认会 阅读全文

摘要： 本篇文章我们以360图片为例，介绍scrapy框架的使用以及图片数据的下载。 目标网站：http://images.so.com/z?ch=photography 思路：分析目标网站为ajax加载方式，通过构造目标url从而请求数据，将图片数据存储在本地，将图片的属性存储在mongodb中。 1、首 阅读全文