摘要: 高性能异步爬虫目的:在爬虫中使用异步实现高性能的数据爬取操作 异步爬虫的方式:1、多线程,多进程(不建议): -好处:可以为相关阻塞的操作单独开启线程或者进程,阻塞操作就可以异步执行 -弊端:无法限制的开启多线程或者进程 2、线程池、进程池: -好处:我们可以降低系统对进程或者线程创建和销毁的一个频 阅读全文
posted @ 2022-04-22 14:56 昌尐 阅读(16) 评论(0) 推荐(0) 编辑