随笔分类 - 分布式
摘要：多卡训练的主要思想是将训练数据分成多个批次或样本，在每个GPU上分别处理这些数据，然后将各个GPU计算得到的梯度进行聚合，最终更新模型参数。这样可以显著加快训练过程，特别是对于大规模的深度学习模型。 多卡训练需要考虑到数据划分、梯度聚合和模型参数同步等问题，以确保各个GPU上的计算结果能够正确地协同
阅读全文
摘要：分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用
阅读全文
摘要：前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办法 run），Pytorch 给出的官方文档看起来也比较吃力。因此这篇文章的主要目的是梳理一下笔者学
阅读全文
