2017年9月11日
scrapy框架解读--深入理解爬虫原理
摘要： scrapy框架结构图: 组成部分介绍: Scrapy Engine： 负责组件之间数据的流转，当某个动作发生时触发事件 Scheduler： 接收requests，并把他们入队，以便后续的调度 Downloader： 负责抓取网页，并传送给引擎，之后抓取结果将传给spider Spiders： 用 阅读全文
posted @ 2017-09-11 10:10 WangC.W 阅读(2047) 评论(0) 推荐(0) 编辑