python 线程池 ThreadPoolExecutor
从Python3.2开始,标准库为我们提供了concurrent.futures
模块,它提供了 ThreadPoolExecutor
(线程池)和 ProcessPoolExecutor
(进程池)两个类。
相比 threading
等模块,该模块通过 submit 返回的是一个 future 对象,它是一个未来可期的对象,通过它可以获取某一个线程执行的状态或者某一个任务执行的状态及返回值:
- 主线程可以获取某一个线程(或者任务的)的状态,以及返回值。
- 当一个线程完成的时候,主线程能够立即知道。
1|0基础语法介绍
返回结果:
2|0使用上下文管理器
可以通过 with
关键字来管理线程池,当线程池任务完成之后自动关闭线程池。
3|0等待所有子线程完成
在需要返回值的场景下,主线程需要等到所有子线程返回再进行下一步,阻塞在当前。比如下载图片统一保存,这时就需要在主线程中一直等待,使用wait
方法完成。
wait 接受三个参数:
fs: 表示需要执行的序列
timeout: 等待的最大时间,如果超过这个时间即使线程未执行完成也将返回
return_when:表示wait返回结果的条件,默认为 ALL_COMPLETED
全部执行完成再返回,可选 FIRST_COMPLETED
4|0等待第一个子线程完成
wait 方法可以设置等待第一个子线程返回就继续执行,表现为主线程在第一个线程返回后便不会阻塞,继续执行下面的操作。
因为result方法是阻塞的,所以流程会在result这里阻塞直到所有子线程返回,相当于 ALL_COMPLETED
方法。
5|0返回及时处理
如果不需要等待所有线程全部返回,而是每返回一个子线程就立刻处理,那么就可以使用as_completed
获取每一个线程的返回结果。
as_completed() 方法是一个生成器,在没有任务完成的时候,会一直阻塞。当有某个任务完成的时候,会 yield 这个任务,就能执行 for 循环下面的语句,然后继续阻塞住,循环到所有的任务结束。同时,先完成的任务会先返回给主线程。
6|0map
map 方法是对序列中每一个元素都执行 action 方法,主要有两个特点:
- 不需要将任务submit到线程池
- 返回结果的顺序和元素的顺序相同,即使子线程先返回也不会获取结果
fn: 第一个参数 fn 是需要线程执行的函数;
iterables:第二个参数接受一个可迭代对象;
timeout: 第三个参数 timeout 跟 wait() 的 timeout 一样,但由于 map 是返回线程执行的结果,如果 timeout小于线程执行时间会抛异常 TimeoutError。
可以看出返回结果和列表的结果一致,即使第2个元素只需要1s就能返回,也还是等待第一个5s线程返回只有才有结果。
__EOF__

本文链接:https://www.cnblogs.com/goldsunshine/p/16878089.html
关于博主:评论和私信会在第一时间回复。或者直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
声援博主:如果您觉得文章对您有帮助,可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
2019-11-15 读《阿里工程师的自我修养》我学到这几点