2024年9月1日
deepspeed从入门到放弃
摘要： 本文并不讲解deepspeed的原理以及用法，只是澄清几个deepspeed中的技术细节。 启动deepspeed训练可以通过运行deepspeed --nproc-per-node 4 xxx.py ...，这样就会启动4个进程来运行xxx.py deepspeed启动进程后如何知道是几号进程？ 阅读全文
posted @ 2024-09-01 00:37 王冰冰 阅读(2) 评论(0) 推荐(0) 编辑