摘要：
一、下载中间件 图例： · 由上图可知，下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）在下载器完成 阅读全文
摘要：
一、Scrapy的日志等级 - 在使用 scrapy crawl 爬虫文件名 运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 - 设置日志信息指定输出： 在set 阅读全文
摘要：
一、五大核心组件工作流程 组件的介绍： Spiders(爬虫文件)： 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。 用户也可以从中提取出链接,让Scrapy继续抓取下一个页面 Scrapy(引擎)： 用来处理整个系统的数据流处理, 触发事务(框架核心) Sc 阅读全文
摘要：
递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储（这里储存到文件当中） - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应 阅读全文