2020年6月1日
爬虫笔记：scrapy爬虫框架流程介绍（十三）
摘要： Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。scrapy框架封装了很多功能，比如说使用异步框架（Twisted）来提高爬虫性能，url的去重，数据的清洗等等的功能。 Scrapy架构图（绿线是数据流向） 可以从上面的图看出来scrapy有几个 阅读全文
posted @ 2020-06-01 22:43 飞鸟与新月 阅读(222) 评论(0) 推荐(0) 编辑