摘要：
这是在阅读nn.DataParallel源码的时候看到的一个模块，可以复制你所传入的列表，或者字典，或者元组，代码逻辑涉及到递归和zip的使用，我着实没看懂，但是很是优雅，记录一下。 def copy_obj(input,number): targets_list = range(number) d 阅读全文
摘要：
本文将记录如何使用单机多卡GPU的方式进行训练，主要是采用DP模式（DDP模式一般用于多机多卡训练）。 1、DP模式基本原理 DP模型进行单机多卡训练基本步骤如下： （1）将模型复制到各个GPU中，并将一个batch的数据划分成mini_batch并分发给给个GPU （2）各个GPU独自完成mini 阅读全文