08 2021 档案
摘要：一、前言 1、有时，在应用连续的卷积之后，我们最终得到的输出远小于输入大小。这是由于卷积核的宽度和高度通常大于1所导致的。比如，一个 240×240像素的图像，经过 10 层 5×5的卷积后，将减少到 200×200 像素。如此一来，原始图像的边界丢失了许多有用的信息。而填充是解决此问题的最有效的方
阅读全文
摘要：一、前言 1、空间不变性：我们使用的无论哪种方法都应该和物体的位置无关 局部性：神经网络的底层应该只探索输入图像中的局部区域，而不考虑图像远处区域的内容，这就是“局部性”原则 平移不变性：不管出现在图像中的哪个位置，神经网络的底层应该对相同的图像区域做类似的相应 2、卷积神经网络（convoluti
阅读全文
摘要：一、前言 1、保存训练的模型以备将来在各种环境中使用 2、当运行一个耗时较长的训练过程时，最佳的做法是定期保存中间结果（检查点），以确保在服务器电源被不小心断掉时不会损失几天的计算结果 二、加载和保存张量 1、对于单个张量，我们可以直接调用load和save函数分别读写它们 import torch
阅读全文
摘要：一、前言 深度学习成功的背后一个因素是可以用创造性的方式组合广泛的层，从而设计出适合于各种任务的结构 二、不带参数的层 1、要构建一个层，我们只需继承基础层类并实现正向传播功能 # 构造不带参数的层 # 下面的CenteredLayer类要从其输入中减去均值。 import torch import
阅读全文
摘要：一、前言 1、深度学习框架提供默认随机初始化 2、深度学习框架提供了最常用的规则，也允许创建自定义初始化方法 3、默认情况下，Pytorch会根据一个范围均匀地初始化权重和偏置矩阵，这个范围是根据输入和输出维度计算出来的 二、内置初始化 1、下面代码将所有权重参数初始化为标准差为0.01的正态分布，
阅读全文
摘要：一、前言 1、访问参数，用于调试、诊断和可视化。 2、参数初始化 3、在不同模型组件间共享参数 具有单隐藏层的多层感知机 import torch from torch import nn # 定义模型 net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(),
阅读全文
