2024年2月27日
异步爬虫
摘要： 高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取 异步爬虫的方式： - 多线程，多进程（不建议） 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行 弊端：无法无限制的开启多线程或者多进程 - 线程池 进程池 好处：我们可以降低创建线程和销毁线程的频率，从而降低系统的开 阅读全文
posted @ 2024-02-27 17:04 会秃头的小白 阅读(19) 评论(0) 推荐(0) 编辑