小秦同学在上学

2021年8月2日

摘要：一、前言 1、深度学习框架提供默认随机初始化 2、深度学习框架提供了最常用的规则，也允许创建自定义初始化方法 3、默认情况下，Pytorch会根据一个范围均匀地初始化权重和偏置矩阵，这个范围是根据输入和输出维度计算出来的二、内置初始化 1、下面代码将所有权重参数初始化为标准差为0.01的正态分布，阅读全文

posted @ 2021-08-02 15:53 小秦同学在上学阅读(632) 评论(0) 推荐(0) 编辑

参数管理

摘要：一、前言 1、访问参数，用于调试、诊断和可视化。 2、参数初始化 3、在不同模型组件间共享参数具有单隐藏层的多层感知机 import torch from torch import nn # 定义模型 net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), 阅读全文

posted @ 2021-08-02 15:35 小秦同学在上学阅读(420) 评论(0) 推荐(0) 编辑

2021年7月30日

模型构造

摘要：一、层 1、单一输出神经网络接受一些输入生成相应标量输出具有一组相关参数（这些参数可以更新以优化某些感兴趣的目标函数） 2、多个输出神经网络（利用矢量化算法来描述）接受一组输入生成相应的输出由一组可调整参数描述 3、对于多层感知机而言，整个模型接受原始输入（特征），生成输出（预测），并包阅读全文

posted @ 2021-07-30 20:20 小秦同学在上学阅读(257) 评论(0) 推荐(0) 编辑

2021年7月29日

随机初始化模型参数

摘要：一、前言 1、在神经网络中，我们通常需要随机初始化模型的参数。我们可以这样理解 2、假设在一个多层感知机中，输出层只有一个元素（简化处理）。如果将每个隐藏单元的参数都初始化为相同的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传递中，每个隐藏单元的参数梯度值相阅读全文

posted @ 2021-07-29 17:26 小秦同学在上学阅读(659) 评论(0) 推荐(0) 编辑

梯度消失和梯度爆炸

摘要：转载：https://zhuanlan.zhihu.com/p/25631496 1、梯度爆炸（gradient exploding）问题：参数更新过大，破坏了模型的稳定收敛 2、梯度消失（gradient vanishing）问题：参数更新过小，在每次更新时几乎不会移动，导致模型不能学习 3、梯度阅读全文

posted @ 2021-07-29 16:31 小秦同学在上学阅读(323) 评论(0) 推荐(0) 编辑

正向传播、反向传播

摘要：一、前言正向传播（forward propagation/forward pass）指的是：按顺序（从输入层到输出层）计算和存储神经网络中每层的结果。二、步骤 1、为了简单起见，我们假设输入样本是 𝐱∈ℝ𝑑x∈Rd，并且我们的隐藏层不包括偏置项。这里的中间变量是： 2、其中𝐖(1)∈ℝℎ× 阅读全文

posted @ 2021-07-29 11:30 小秦同学在上学阅读(1007) 评论(0) 推荐(0) 编辑

丢弃法的实现

摘要：一、从零开始实现 1、实现 dropout_layer 函数，该函数以dropout的概率丢弃张量输入X中的元素，重新缩放剩余部分：将剩余部分除以1.0-dropout import torch from torch import nn from d2l import torch as d2l # 阅读全文

posted @ 2021-07-29 11:07 小秦同学在上学阅读(297) 评论(0) 推荐(1) 编辑

丢弃法

摘要：一、前言在深度学习里面，除了用权重衰退来应对过拟合外，还用丢弃法（dropout）来应对过拟合二、概念在现代神经网络中，我们所指的丢弃法，通常是对输入层或者隐含层进行的操作： 1、以丢失概率P随机丢掉该层的部分隐藏单元 2、丢带的隐藏单元会被清零 3、没有丢掉的隐藏单元会除以1-p做拉伸三、阅读全文

posted @ 2021-07-29 10:08 小秦同学在上学阅读(248) 评论(0) 推荐(0) 编辑

2021年7月28日

权重衰退简洁实现

摘要： def train_concise(wd): net = nn.Sequential(nn.Linear(num_inputs, 1)) for param in net.parameters(): param.data.normal_() loss = nn.MSELoss() num_epoch 阅读全文

posted @ 2021-07-28 20:36 小秦同学在上学阅读(183) 评论(0) 推荐(0) 编辑

权重衰减从零开始实现

摘要：一、生成数据集 #权重衰退是最广泛使用的正则化的技术之一 %matplotlib inline import torch from torch import nn from d2l import torch as d2l #𝜖 where 𝜖∼(0,0.012)：表示噪音，是一个均值为0，方差阅读全文

posted @ 2021-07-28 20:33 小秦同学在上学阅读(516) 评论(0) 推荐(0) 编辑

公告