12 2019 档案
摘要:深度学习中的梯度消失和爆炸 详细分析参考: 简单的一句话总结就是: 这二者本质上是同一个问题,在反向传播时,需要求梯度.根据链式求导法则,所以相当于各层的偏导数连乘,由于激活函数的存在,有些激活函数的偏导数一直小于1或者大于1,那么偏导数连乘以后,就会造成梯度过小或过大.从而使得参数变化很小或者参数
阅读全文
摘要:"上一篇" 讲了防止过拟合的一种方式,权重衰减,也即在loss上加上一部分\frac{\lambda}{2n} \|\boldsymbol{w}\|^2,从而使得w不至于过大,即不过分偏向某个特征. 这一篇介绍另一种防止过拟合的方法,dropout,即丢弃某些神经元的输出.由于每次训练的过程里,
阅读全文
摘要:深度学习中常常会存在过拟合现象,比如当训练数据过少时,训练得到的模型很可能在训练集上表现非常好,但是在测试集上表现不好. 应对过拟合,可以通过数据增强,增大训练集数量.我们这里先不介绍数据增强,先从模型训练的角度介绍常用的应对过拟合的方法. 权重衰减 权重衰减等价于 L_2 范数正则化(regu
阅读全文
摘要:多层感知机 上图所示的多层感知机中,输入和输出个数分别为4和3,中间的隐藏层中包含了5个隐藏单元(hidden unit)。由于输入层不涉及计算,图3.3中的多层感知机的层数为2。由图3.3可见,隐藏层中的神经元和输入层中各个输入完全连接,输出层中的神经元和隐藏层中的各个神经元也完全连接。因此,多层
阅读全文
摘要:FashionMNIST数据集共70000个样本,60000个train,10000个test.共计10种类别. 通过如下方式下载. softmax从零实现 数据加载 初始化模型参数 模型定义 损失函数定义 优化器定义 训练 数据加载 初始化模型参数 模型定义 记忆要点:沿着dim方向.行为维度0,
阅读全文
摘要:前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中,模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题,我们可以使用诸如softmax回归在内的分类模型。和线性回归不同,softmax回归的输出单元从一个变成了多个,且引入了softmax运算使输出更适合离散值的预测和训
阅读全文
摘要:关于什么是线性回归,不多做介绍了.可以参考我以前的博客 实现线性回归 分为以下几个部分: 生成数据集 读取数据 初始化模型参数 定义模型 定义损失函数 定义优化算法 训练模型 生成数据集 我们构造一个简单的人工训练数据集,它可以使我们能够直观比较学到的参数和真实的模型参数的区别。设训练数据集样本数为
阅读全文
摘要:深度学习:欠拟合问题的几种解决方案 发布者:AI柠檬博主 2018 04 09 深度学习:欠拟合问题的几种解决方案有2条评论 <! .entry meta 点击量:29849我最近做深度学习在连续中文语音识别方向的应用的时候,根据一些论文和网上一些公开代码和模型结构,设计了一个神经网络的模型。但是在
阅读全文
摘要:生成shape为(num_examples, num_inputs),符合0-1分布的数据. np.random.normal(0, 1, (num_examples, num_inputs)) 判断两个ndarray是否近似 https://docs.scipy.org/doc/numpy/ref
阅读全文
摘要:消除图像共性:https://blog.csdn.net/qq_19329785/article/details/84569604 基本在deep learning中只要你是使用gradient descent来训练模型的话都要在数据预处理步骤进行数据归一化。为什么要采用这种预处理方式呢?首先如果输
阅读全文
摘要:PyTorch提供的autograd包能够根据输⼊和前向传播过程⾃动构建计算图,并执⾏反向传播。 Tensor Tensor的几个重要属性或方法 .requires_grad 设为true的话,tensor将开始追踪在其上的所有操作 .backward()完成梯度计算 .grad属性 计算的梯度累积
阅读全文
摘要:跟着 "Dive into DL PyTorch.pdf" 从头开始学pytorch,夯实基础. Tensor创建 创建未初始化的tensor 输出 创建随机初始化的tensor 输出 创建全0的tensor,指定类型为long 输出 指定数据创建 输出 利用已有tensor来创建,新创建的tens
阅读全文
摘要:PyTorch常用代码段整理合集 本文代码基于 PyTorch 1.0 版本,需要用到以下包 import collections import os import shutil import tqdm import numpy as np import PIL.Image import torch
阅读全文
摘要:PIL:使用python自带图像处理库读取出来的图片格式 hwc rgb numpy:使用python-opencv库读取出来的图片格式 tensor:pytorch中训练时所采取的向量格式(当然也可以说图片)chw rgb PIL与Tensor相互转换 import torch from PIL
阅读全文
摘要:版权声明:本文为博主原创文章,遵循 CC 4.0 BY SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/weixin_42279044/article/details/101053719 <! 一个博主专栏付费入口 <! 一个博主专栏付费入口结
阅读全文