摘要: 最近学习到了爬虫进阶部分。如果下载数据量非常大时,采取之前的同步或串行编程方式,效率非常低,可能十天半个月都下不完。所以就必须要引出异步爬虫。 异步爬虫实现的方式可以分为:多线程、多进程、进程池、线程池、协程的方式。这两天的时间,主要研究这几种编程方式,先从基本思想入手,逐步实现爬虫的异步编程。 先 阅读全文
posted @ 2021-01-15 11:01 理工—王栋轩 阅读(92) 评论(0) 推荐(0) 编辑