2018年5月14日
scrapy框架结构与工作原理
摘要： 组件： ENGINE：引擎，框架的核心，其他组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度 DOWNLOADER：下载器，负责下载页面，发送HTTP请求/接收HTTP响应 SPIDER：爬虫，负责提取页面数据，并产生对新的页面的下载请求 MIDDLEW 阅读全文
posted @ 2018-05-14 16:13 Mr.SSC 阅读(472) 评论(0) 推荐(0) 编辑