01 2021 档案

Pytorch中返回super().forward()
摘要:https://github.com/pytorch/pytorch/issues/42885 import torch import torch.nn as nn class Foo(nn.Conv1d): def forward(self, x): return super().forward( 阅读全文

posted @ 2021-01-29 21:38 那抹阳光1994 阅读(2039) 评论(0) 推荐(0) 编辑

pytorch中的torch.autograd.backward()和torch.autograd.grad()
摘要:参考 一文读懂torch.autograd.backward()作用及原理 torch.autograd学习系列之torch.autograd.grad()函数学习 主要是对这两个函数中的参数grad_tensors或grad_outputs不理解。其实就是雅克比矢量积的系数,有了这个系数就能将矢量 阅读全文

posted @ 2021-01-19 11:28 那抹阳光1994 阅读(592) 评论(0) 推荐(0) 编辑

深度学习中的归一化方法BN、LN、IN、GN
摘要:不同归一化方法计算统计量的方式和施加归一化的范围不一样。 BN受到批尺寸的影响,而LN、IN和GN避开了批尺寸这个维度。 这张图与我们平常看到的feature maps有些不同,立方体的3个维度为别为batch/ channel/ HW,而我们常见的feature maps中,3个维度分别为chan 阅读全文

posted @ 2021-01-18 10:08 那抹阳光1994 阅读(878) 评论(0) 推荐(0) 编辑

transforms的二十二个方法
摘要:transforms的二十二个方法 本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来,官方文档只是将方法陈列,没有归纳总结,顺序很乱,这里总结一共有四大类,方便大家索引: 本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https:// 阅读全文

posted @ 2021-01-15 22:18 那抹阳光1994 阅读(432) 评论(0) 推荐(0) 编辑

将GAN作为一种可学习的损失函数
摘要:换个角度看GAN:另一种损失函数 「本质上,GAN 就是另一种损失函数。」 Jeremy Howardf 老师曾在生成对抗网络(GAN)课程中说过:「……本质上,GAN 就是另一种损失函数。」 本文将在适合的相关背景下讨论上面的观点,并向大家阐述 GAN 这种「学得」(learned)损失函数的简洁 阅读全文

posted @ 2021-01-12 15:00 那抹阳光1994 阅读(505) 评论(0) 推荐(1) 编辑

WGAN与最优传输理论
摘要:使用 Wasserstein 散度的理由 原 wGAN 论文开篇详细解释了 Wasserstein 度量相较其他常用统计散度的优势。虽然解释得很有技术性,但要传达的信息很简单:Wasserstein 度量可以用来比较完全不同的概率分布。这个不同是什么意思?最常见的例子是两个分布支撑集(函数的非零部分 阅读全文

posted @ 2021-01-04 10:59 那抹阳光1994 阅读(602) 评论(0) 推荐(0) 编辑

全局平均池化(Golbal Average Pooling)
摘要:在卷积特征之上有消除全连接层的趋势。最有力的例子是全局平均池化(global average pooling),它已被应用于最先进的图像分类模型中。 提出:Lin, M., Chen, Q., & Yan, S. (2013). Network in network. arXiv preprint 阅读全文

posted @ 2021-01-03 20:45 那抹阳光1994 阅读(2695) 评论(0) 推荐(0) 编辑

Yan Goodfellow 在生成对抗网络(GANs)论文中提到的比喻 “the Helvetica Scenario” 的解释及其来龙去脉
摘要:文章中用the Helvetica Scenario来代指GAN的模式崩溃问题。 生成器会将不同的噪声输入z映射为相同的样本x,从而轻易地骗过鉴别器。因此生成器也就开始偷奸耍滑了,不好好学习了,一直源源不断地生成同样的数据样本,偷懒了,就不会再去训练提高自己生成 多样性数据的能力了。这就是GAN所谓 阅读全文

posted @ 2021-01-03 16:41 那抹阳光1994 阅读(316) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示