摘要: 使用协程构建高性能爬虫 一、简介 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞。比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的。为了解决这类问题,本文就来探讨一下 Python 阅读全文
posted @ 2019-10-13 19:20 ZivLi 阅读(570) 评论(0) 推荐(0) 编辑