摘要: scrapy介绍 Scrapy 是一套基于Twisted、纯python实现的异步爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,相当的方便~ 整体架构和组成 Scrapy Engine(引擎) 引擎负责控制数据流在系统所有组件中的流动,并在相应动作发生时 阅读全文
posted @ 2020-04-09 20:17 fahaiAI 阅读(405) 评论(0) 推荐(0) 编辑