pytorch 多gpu并行计算

在训练时碰到cuda out of memory说明显存不够用了，这时需要多卡并行计算

单机多卡

device_ids = [0,1]
model = torch.nn.DataParallel(model, device_ids=device_ids)

注意这样还不够，因为此时的model是torch.nn.DataParallel类型，会报出一堆has no attribute的错误

此时要把所有model的使用的attribute改成model.module.function才能正常使用