摘要：
分布式爬虫，可以让很多台电脑都使用同一个的爬虫程序，将爬虫分发得到多台电脑上，这样可以提高爬虫的速度，也就是分布式爬虫。 分布式爬虫需要专门的模块scrapy-redis，原生的scrapy框架无法实现分布式爬取，原因在于：（1）scrapy框架中五大核心组件中的调度器只归属于该项目，无法实现被分布 阅读全文
摘要：
全站数据爬取的方式 1.通过递归的方式进行深度和广度爬取全站数据，可参考相关博文（全站图片爬取），手动借助scrapy.Request模块发起请求。 2.对于一定规则网站的全站数据爬取，可以使用CrawlSpider实现自动爬取。 CrawlSpider是基于Spider的一个子类。和蜘蛛一样，都是 阅读全文
摘要：
scrapy项目中的middlewarse.py中间件 爬虫中间件：目前先不介绍 下载中间件（需要在settings.py中开启） 1 def process_request(self, request, spider): 2 #UA伪装 3 # request.headers['User-Agen 阅读全文