2024年3月13日
监控大模型训练
摘要： 监控大模型训练 大模型训练时间久，而且过程中容易出现各种各样的问题而中断，中断之后不及时续练的话对GPU资源是很大的浪费，但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练，以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多，这里介绍两个方式。 根据lo 阅读全文
posted @ 2024-03-13 08:52 一蓑烟雨度平生 阅读(546) 评论(0) 推荐(0) 编辑