摘要：
对于cnn前馈神经网络如果前馈一次写一个forward函数会有些麻烦，在此就有两种简化方式，ModuleList和Sequential。其中Sequential是一个特殊的module，它包含几个子Module，前向传播时会将输入一层接一层的传递下去。ModuleList也是一个特殊的module， 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/59767914 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/95952096 阅读全文
摘要：
1、背景介绍 在pytorch的多卡训练中，通常有两种方式，一种是单机多卡模式（存在一个节点，通过torch.nn.DataParallel(model)实现），一种是多机多卡模式（存在一个节点或者多个节点，通过torch.nn.parallel.DistributedDataParallel(mo 阅读全文