随笔 - 21, 文章 - 0, 评论 - 0, 阅读 - 9963

08 2023 档案

摘要：# 特点： 1. scrapy利用twisted的设计实现了非阻塞的异步操作。这相比于传统的阻塞式请求，极大的提高了CPU的使用率，以及爬取效率。 1. 配置简单，可以简单的通过设置一行代码实现复杂功能。 1. 可拓展，插件丰富，比如分布式scrapy + redis、爬虫可视化等插件。 1. 解析阅读全文

posted @ 2023-08-16 23:40 it_hww 阅读(69) 评论(0) 推荐(0) 编辑