摘要：
多GPU的处理机制：使用多GPU时，pytorch的处理逻辑是：1.在各个GPU上初始化模型。2.前向传播时，把batch分配到各个GPU上进行计算。3.得到的输出在主GPU上进行汇总，计算loss并反向传播，更新主GPU上的权值。4.把主GPU上的模型复制到其它GPU上。 阅读全文
摘要：
1、RuntimeError: cuda runtime erorr (77): an illegal memory access was encountered at 在使用命令前面加上CUDA_LAUNCH_BLOCKING=1（禁止并行的意思）（设置os.environ['CUDA_LAUNC 阅读全文