摘要： 5+2 的结构 Scrapy爬虫框架解析 Engine模块(不需要用户修改)：控制所有模块之间的数据流；根据条件触发事件 Downloader模块（不需要用户修改）：根据请求下载网页 Scheduler模块（不需要用户修改）：对所有爬取请求进行调度管理 Downloader Middleware中间 阅读全文