2022年7月5日
爬虫（9） - Scrapy框架(1) | Scrapy 异步网络爬虫框架
摘要： 什么是Scrapy 基于Twisted的异步处理框架 纯python实现的爬虫框架 基本结构：5+2框架，5个组件，2个中间件 5个组件： Scrapy Engine：引擎，负责其他部件通信 进行信号和数据传递；负责Scheduler、Downloader、Spiders、Item Pipeline 阅读全文
posted @ 2022-07-05 09:56 葛老头 阅读(985) 评论(0) 推荐(0) 编辑