摘要: Scrapy 是一个基于 Twisted 的异步处理框架,是纯 Python 实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 架构介绍 Scrapy 框架的架构,可以分为如下的几个部分。 Engine,引擎,用 阅读全文
posted @ 2024-08-01 16:26 JJJhr 阅读(18) 评论(0) 推荐(0) 编辑