Pytorch03——模型定义

模型搭建基础知识：
1.Module类是torch.nn模块里提供的一个模型构造类(nn.Module)，是所有神经网络模块的基类，在实现神经网络的时候是通过继承它来定义我们想要的模型。
2.Pytorch模型定义主要是两部分一部分是 各部分的初始化（init）；数据流向定义（forward），基于nn.Module，我们可以通过Sequential,ModuleList和ModuleDict三种方式定义Pytorch模型。

1|01.Sequential

对应的模块是nn.sequential()
当模型的前向计算为简单的各个层的计算时，Sequential类可以接受一个子模块的有序字典（OrdereDict）或者一系列子模块作为参数来逐一添加Module的实类，而模型的前向计算就是将这些实例按添加的顺序逐一计算。

1.直接排列的方式
net = nn.Sequential(
    nn.Linear(784,256)
    nn.Relu()
    nn.Linear(256,10)
)
print(net)
#输出
Sequential(
  (0): Linear(in_features=784, out_features=256, bias=True)
  (1): ReLU()
  (2): Linear(in_features=256, out_features=10, bias=True)
)

---

2.采用OrderDict方式
net2 = nn.Sequential(collections.OrdereDict([
    ('fc1',nn.Linear(784,256)),
    ('fc2',nn.ReLu()),
    ('fc2',nn.Linear(256,10))
]))
print(net2)
#输出
Sequential(
  (fc1): Linear(in_features=784, out_features=256, bias=True)
  (relu1): ReLU()
  (fc2): Linear(in_features=256, out_features=10, bias=True)
)

改写后：

2|02.ModuleList：nn.ModuleList,接收一个子模块的列表

（或层，需要属于nn.Module类）

net = nn.Module([
    nn.Linear(784,256),
    nn.ReLU()
])
#可以像列表一样追加子模块或者层
net.append(nn.Linear(256,10))
#通过List一样的索引访问
print(net[-1])#打印最后一个层的信息

3|0ModuleDict： nn.ModuleDict，和ModuleList类似

net = nn.Module({
     'linear':nn.Linear(784,256),
     'act':nn.ReLu()
})
net['output'] = nn.Linear(256,10)
#通过字典的方式访问层
print(net['act'])

4|0总结：

以上多种的模型定义的方式其实万变不离其宗，都是差不多的。本质都一样。

5|0模型的保存和读取

• 模型存储格式：pkl、pt、pth
• 模型存储内容：存储整个模型（模型结构和权重）model、只存储模型权重model.state.dict
• 多卡模型存储：torch.nn.DataParaller(model).cuda()
  以resnet50模型的单卡保存和单卡加载为例

os.environ['CUDA_VISIBLE_DEVICES'] = '0'
model = models.resnet(pretrained = True)
sava_dir = './models/resnet50.pkl'
# 保存整个模型
torch.save(model, save_dir)
# 读取整个模型
loaded_model = torch.load(save_dir)

save_dir = './models/resnet50_state_dict.pkl'
 
# 保存模型结构
torch.save(model.state_dict(), save_dir)
# 读取模型结构
loaded_dict = torch.load(save_dir)
loaded_model = models.resnet50()
# 定义模型结构
# loaded_model.load_state_dict(loaded_dict)
loaded_model.state_dict = loaded_dict

6|0总结：

1.Pytorch模型三种定义方式：分别是Sequential、ModuleList、ModuleDict
2.模型的保存分为两种：分别是 保存整个模型 和 保存模型参数

__EOF__

本文作者：DeepBrainBoy
本文链接：https://www.cnblogs.com/tccjx/articles/16012738.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！