摘要: Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架,是纯Python实现的爬虫框架,其架构清晰模块之间的耦合成都低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1. 架构介绍 它可以分为如下几个部分。 Engine 引擎,处理整 阅读全文
posted @ 2019-09-05 23:09 Jervey 阅读(149) 评论(0) 推荐(0) 编辑