摘要: 一、前言 1、保存训练的模型以备将来在各种环境中使用 2、当运行一个耗时较长的训练过程时,最佳的做法是定期保存中间结果(检查点),以确保在服务器电源被不小心断掉时不会损失几天的计算结果 二、加载和保存张量 1、对于单个张量,我们可以直接调用load和save函数分别读写它们 import torch 阅读全文
posted @ 2021-08-02 16:57 小秦同学在上学 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 一、前言 深度学习成功的背后一个因素是可以用创造性的方式组合广泛的层,从而设计出适合于各种任务的结构 二、不带参数的层 1、要构建一个层,我们只需继承基础层类并实现正向传播功能 # 构造不带参数的层 # 下面的CenteredLayer类要从其输入中减去均值。 import torch import 阅读全文
posted @ 2021-08-02 16:21 小秦同学在上学 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 一、前言 1、深度学习框架提供默认随机初始化 2、深度学习框架提供了最常用的规则,也允许创建自定义初始化方法 3、默认情况下,Pytorch会根据一个范围均匀地初始化权重和偏置矩阵,这个范围是根据输入和输出维度计算出来的 二、内置初始化 1、下面代码将所有权重参数初始化为标准差为0.01的正态分布, 阅读全文
posted @ 2021-08-02 15:53 小秦同学在上学 阅读(632) 评论(0) 推荐(0) 编辑
摘要: 一、前言 1、访问参数,用于调试、诊断和可视化。 2、参数初始化 3、在不同模型组件间共享参数 具有单隐藏层的多层感知机 import torch from torch import nn # 定义模型 net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), 阅读全文
posted @ 2021-08-02 15:35 小秦同学在上学 阅读(420) 评论(0) 推荐(0) 编辑