Deep Learning - 随笔分类(第5页) - Picassooo

摘要：float16/32/64对神经网络计算的影响阅读全文

posted @ 2020-12-30 21:33 Picassooo 阅读(152) 评论(0) 推荐(0) 编辑

摘要：本文内容来自知乎：浅谈 PyTorch 中的 tensor 及使用首先创建一个简单的网络，然后查看网络参数在反向传播中的更新，并查看相应的参数梯度。 # 创建一个很简单的网络：两个卷积层，一个全连接层 class Simple(nn.Module): def __init__(self): sup 阅读全文

posted @ 2020-12-18 10:51 Picassooo 阅读(7992) 评论(0) 推荐(0) 编辑

pytorch normal_(), fill_()

摘要：比如有个张量a，那么a.normal_()就表示用标准正态分布填充a，是in_place操作，如下图所示：比如有个张量b，那么b.fill_(0)就表示用0填充b，是in_place操作，如下图所示：这两个函数常常用在神经网络模型参数的初始化中，例如 import torch.nn as nn 阅读全文

posted @ 2020-12-15 17:37 Picassooo 阅读(8739) 评论(0) 推荐(0) 编辑

调整神经网络超参的一些技巧

摘要：【本文属于借花献佛，内容来自和一位朋友的交谈】看training loss和test loss之间的关系，如果他们同时下降，说明网络还在学习、泛化能力还在增强；但如果training loss在下降，test loss却不再下降，甚至上升了，那说明网络进入到过拟合的状态了。 loss起先降得很快，阅读全文

posted @ 2020-12-13 19:40 Picassooo 阅读(358) 评论(0) 推荐(0) 编辑

pytorch tensorboard在本地和远程服务器使用，两条loss曲线画一个图上

摘要：一. 安装包 pytorch版本最好大于1.1.0。查看PyTorch版本的命令为torch.__version__ tensorboard若没有的话，可用命令conda install tensorboard安装，也可以用命令pip install tensorboard安装。注意： tenso 阅读全文

posted @ 2020-12-07 15:34 Picassooo 阅读(4750) 评论(0) 推荐(0) 编辑

Temporal Convolutional Networks (TCN)资料，扩张卷积

摘要：一. 博客文章和视频 blibli视频：Temporal Convolutional Networks (TCN) （推荐）简书：TCN(Temporal Convolutional Network) 个人博客：Temporal Convolutional Network (TCN与Trellis 阅读全文

posted @ 2020-11-13 22:14 Picassooo 阅读(1534) 评论(0) 推荐(0) 编辑

梯度消失和爆炸，RNN，LSTM

摘要：一句话总结为什么RNN会梯度消失和LSTM为什么可以防止梯度消失：RNN会梯度消失是因为后一个状态对前一个状态的梯度连乘。在LSTM中，后一个cell对前一个cell的导数结果可以由几个门控制，这几个门的值是可学习的，网络可以自适应的学习相应的值，控制梯度消失或不消失。目录一. 全连接网络的梯度阅读全文

posted @ 2020-11-13 21:08 Picassooo 阅读(388) 评论(0) 推荐(0) 编辑

pytorch反向传播两次，梯度相加，retain_graph=True

摘要：pytorch是动态图计算机制，也就是说，每次正向传播时，pytorch会搭建一个计算图，loss.backward()之后，这个计算图的缓存会被释放掉，下一次正向传播时，pytorch会重新搭建一个计算图，如此循环。在默认情况下，PyTorch每一次搭建的计算图只允许一次反向传播，如果要进行两次阅读全文

posted @ 2020-10-15 10:09 Picassooo 阅读(8302) 评论(0) 推荐(2) 编辑

转：深入理解ReLU(Rectifier Linear Units)激活函数

摘要：深入理解ReLU(Rectifie Linear Units)激活函数阅读全文

posted @ 2020-10-13 10:18 Picassooo 阅读(356) 评论(0) 推荐(0) 编辑

转：max-pooling的平移不变性、旋转不变性、尺度不变性

摘要：max-pooling可以部分保证平移不变性、旋转不变性、尺度不变性。 MaxPooling的作用 Max pooling一定程度上，位移、尺度、形变不变性阅读全文

posted @ 2020-10-13 09:50 Picassooo 阅读(519) 评论(0) 推荐(0) 编辑

【论文笔记】2020ICML SimCLR

摘要：论文链接论文链接：https://arxiv.org/pdf/2002.05709.pdf 代码链接：https://github.com/google-research/simclr 基本思想对同一张图像x进行不同的data augmentation，得到多个view，这些view要相互吸引；阅读全文

posted @ 2020-10-11 16:13 Picassooo 阅读(2987) 评论(0) 推荐(0) 编辑

交叉熵损失函数的一些值

摘要：阅读全文

posted @ 2020-10-09 11:17 Picassooo 阅读(124) 评论(0) 推荐(0) 编辑

转：WAE-GAN和WAE-MMD的PyTorch实现

摘要：WAE-GAN和WAE-MMD的PyTorch实现阅读全文

posted @ 2020-09-23 22:37 Picassooo 阅读(745) 评论(0) 推荐(0) 编辑

Unpooling反池化, Deconvolution反卷积，转置卷积deconv

摘要：unpooling (摘自https://www.bilibili.com/video/av15889450/?p=33，第30分钟) unpooling有很多种方法，其中一种如下图： Deconvolution (摘自https://www.bilibili.com/video/av1588945 阅读全文

posted @ 2020-09-19 20:45 Picassooo 阅读(705) 评论(0) 推荐(0) 编辑

机器学习和深度学习摘抄

摘要：1.

ℓ_{j o i n t} = ℓ_{e l e} + λ_{a d v} ℓ_{a d v}

$\ell_{joint} = \ell_{ele} + \lambda_{adv} \ell_{adv}$ 其中

ℓ_{e l e}

$\ell_{ele}$ 是逐元素的重建损失，

ℓ_{a d v}

$\ell_{adv}$ 是对抗损失，

λ_{a d v}

$\lambda_{adv}$ 用于平衡二者。我们用修复序列与原始序列之间的

L_{2}

$L_2$ 阅读全文

posted @ 2020-09-15 10:38 Picassooo 阅读(182) 评论(0) 推荐(0) 编辑

转：sqrt()可能会使神经网络loss变为NaN

摘要：pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt loss突然变为nan？你可能踩了sqrt()的坑阅读全文

posted @ 2020-09-12 17:29 Picassooo 阅读(596) 评论(0) 推荐(0) 编辑

转：Contrastive Loss (对比损失)

摘要：Contrastive Loss (对比损失) Contrastive Loss 对比损失函数及梯度的计算阅读全文

posted @ 2020-09-01 21:38 Picassooo 阅读(896) 评论(0) 推荐(0) 编辑

转：Siamese network 孪生神经网络

摘要：Siamese network 孪生神经网络 PyTorch代码链接阅读全文

posted @ 2020-09-01 20:51 Picassooo 阅读(191) 评论(0) 推荐(0) 编辑

LSTM的计算过程，权重参数数目，weight_ih_l0，weight_hh_l0

摘要：一. 普通全连接神经网络的计算过程假设用全连接神经网络做MNIST手写数字分类，节点数如下：第一层是输入层，784个节点；第二层是隐层，100个节点；第三层是输出层，10个节点。对于这个神经网络，我们在脑海里浮现的可能是类似这样的画面：但实际上，神经网络的计算过程，本质上是输入向量(矩阵阅读全文

posted @ 2020-08-14 21:13 Picassooo 阅读(9670) 评论(0) 推荐(3) 编辑

pytorch lstm 预测航空旅客数目

摘要：airflights passengers dataset下载地址https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv 这个dataset包含从1949年到1960年每个月的航空旅客数目，阅读全文

posted @ 2020-08-12 13:00 Picassooo 阅读(1346) 评论(0) 推荐(0) 编辑

Picassooo

随笔分类 - Deep Learning

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论