2024年10月13日
如何在kubernetes环境中共享GPU
摘要： 随着人工智能和大模型的快速发展，云上GPU资源共享变得必要，因为它可以降低硬件成本，提升资源利用效率，并满足模型训练和推理对大规模并行计算的需求。 在kubernetes内置的资源调度功能中，GPU调度只能根据“核数”进行调度，但是深度学习等算法程序执行过程中，资源占用比较高的是显存，这样就形成了很 阅读全文
posted @ 2024-10-13 12:00 夜洛IT后端技术分享 阅读(328) 评论(0) 推荐(2) 编辑