摘要：
首先要说一下scrapy-redis 配置文件settings主要配置Scrapy_Redis的功能，其中配置SCHEDULER是改变Scrapy原有的调度器。当项目运行的时候，Scrapy从配置文件中读取配置信息，根据配置信息运行Scrapy_Redis的功能，使得整个项目的调度器Schedule 阅读全文
摘要：
首先需要确定要爬取的内容，所以第一步就应该是要确定要爬的字段： 首先去items中确定要爬的内容 在确定完要爬的字段之后，就是分析网站页面的请求了，找到自己需要的内容，我这里爬的是http://www.win4000.com里面的壁纸照片 首先我们在分析的时候，点到一个图集里面可以发现，真正的照片都 阅读全文
摘要：
Elasticsearch是一个分布式可扩展的实时搜索引擎和分析引擎，一个建立在全文搜索引擎基础上的搜索引擎，它不仅包括全文搜索功能，还可以进行如下工作： 分布式实时文件存储，并将每一个字段都编入到索引中，使其可以被搜索 实时分析的分布式搜索系统 可以扩展到上百台服务器，处理PB级别的结构化或非结构 阅读全文
摘要：
在python爬虫中：使用requests + selenium就可以解决将近90%的爬虫需求，那么scrapy就是解决剩下10%的吗？ 这个显然不是这样的，scrapy框架是为了让我们的爬虫更强大、更高效的存在，所以我们有必要好好了解一下scrapy框架。 scrapy是一个为了爬取网站数据，提取 阅读全文
摘要：
可能会报错： 这时候安装pip install pillow库就可以了 阅读全文