GPU多卡训练torch模型

用命令即可：

python3 -m torch.distributed.launch --master_port 10001 --nproc_per_node 8 train.py

其中设置master_port是为了避免端口已被其他进程占用而报错，若报错可设置一个新端口号为master_port

或者

使用Accelerator： https://huggingface.co/docs/transformers/v4.21.2/en/accelerate

 

posted @   morein2008  阅读(205)  评论(0)  编辑  收藏  举报
（评论功能已被禁用）
相关博文：
· torch进行多GPU卡训练时，报错RuntimeError: Address already in use
· Golang 线程池实现http异步响应
· GPU, 单机单卡， 多机多卡
· pytorch加速训练过程（单机多卡）
· pyTorch 指定卡运行代码 和 同一台机器跑多个GPU程序（解决端口号占用）
阅读排行：
· 阿里最新开源QwQ-32B，效果媲美deepseek-r1满血版，部署成本又又又降低了！
· 单线程的Redis速度为什么快？
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决：字节Trae VS Cursor，谁才是开发者新宠？
· 展开说说关于C#中ORM框架的用法！
历史上的今天：
2016-09-01 Java对象访问 类的静态变量
点击右上角即可分享
微信分享提示