摘要： [TOC] 下载中间件(Downloader Middleware) 下载器中间件是介于 Scrapy 的 request/response 处理的钩子框架。 是用于全局修改 Scrapy request 和r esponse 的一个轻量、底层的系统 这个介绍看起来非常绕口，但其实用容易理解的话表述 阅读全文

摘要： [TOC] cnblogs_spider.py 普通 scrapy piplines.py 分布式爬取 cnblogs_spider.py settings.py 阅读全文