05 2020 档案

pytorch .detach() .detach_() 和 .data用于切断反向传播(转载)
摘要:pytorch中 .detach() .detach_() 和 .data均能用于切断反向传播,取出本体的tensor数据,舍弃了grad,grad_fn等额外反向图计算过程需保存的额外信息。 .data和.detach()取出本体tensor后仍与原数据共享内存,在使用in-place操作后,会修 阅读全文

posted @ 2020-05-28 10:06 那抹阳光1994 阅读(536) 评论(0) 推荐(0) 编辑

直观理解VAE和CVAE
摘要:Introduction When I started working on understanding generative models, I didn’t find any resources that gave a good, high level, intuitive overview o 阅读全文

posted @ 2020-05-26 13:16 那抹阳光1994 阅读(3283) 评论(0) 推荐(0) 编辑

自编码变分贝叶斯(转载)
摘要:深度解读Diederik P. Kingma和Max Welling的论文 Auto-encoding variational bayes1,对中间涉及的公式进行了详尽的推导。最后给出了变分自编码器的Tensorflow示例代码。 未经过再参数化2: 由于这个网络传递结构的一个环节是随机采样,导致无 阅读全文

posted @ 2020-05-26 12:11 那抹阳光1994 阅读(453) 评论(0) 推荐(0) 编辑

加载Pytorch中的预训练模型及部分结构的导入
摘要:torchvision.model model子包中包含了用于处理不同任务的经典模型的定义,包括:图像分类、像素级语义分割、对象检测、实例分割、人员关键点检测和视频分类。 图像分类: 语义分割: 对象检测、实例分割和人员关键点检测: 视频分类: ResNet 3D ResNet Mixed Conv 阅读全文

posted @ 2020-05-24 18:55 那抹阳光1994 阅读(4380) 评论(0) 推荐(0) 编辑

pytorch读入图片并显示np.transpose(np_image, [1, 2, 0])
摘要:np.transpose(np_image, [1, 2, 0]) pytorch中读入图片并进行显示时 # visualization of an example of training data def show_image(tensor_image): np_image = tensor_im 阅读全文

posted @ 2020-05-24 11:42 那抹阳光1994 阅读(5129) 评论(0) 推荐(1) 编辑

高斯分布、多维高斯分布、各向同性的高斯分布及多元高斯分布之间的KL散度
摘要:高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到。 一维高斯分布 一维高斯分布的概率密度函数(pdf)形式为: 红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。 我们可以采用以下方程从均值为 μ 标准差为 σ 的高斯分布中采样(再参数化技巧): 其中,ϵ 从一个标准高斯分 阅读全文

posted @ 2020-05-22 21:12 那抹阳光1994 阅读(11834) 评论(0) 推荐(3) 编辑

pytorch中的上采样(上采样,转置卷积,上池化,PixelShuffle)
摘要:Upsample(上采样,插值) Upsample torch.nn.Upsample(size=None, scale_factor=None, mode='nearest', align_corners=None) Upsamples a given multi-channel 1D (temp 阅读全文

posted @ 2020-05-19 20:10 那抹阳光1994 阅读(14619) 评论(0) 推荐(1) 编辑

卷积算法动画演示
摘要:https://github.com/vdumoulin/conv_arithmetic [1] Vincent Dumoulin, Francesco Visin - A guide to convolution arithmetic for deep learning (BibTeX) Conv 阅读全文

posted @ 2020-05-19 19:41 那抹阳光1994 阅读(1433) 评论(0) 推荐(0) 编辑

PyTorch模型加载与保存的最佳实践
摘要:一般来说PyTorch有两种保存和读取模型参数的方法。但这篇文章我记录了一种最佳实践,可以在加载模型时避免掉一些问题。 传统方案: 第一种方案是保存整个模型: torch.save(model_object, 'model.pth') 第二种方法是保存模型网络参数: torch.save(model 阅读全文

posted @ 2020-05-18 19:54 那抹阳光1994 阅读(1076) 评论(0) 推荐(0) 编辑

用变分推断统一理解深度生成模型
摘要:理解:用变分推断统一理解深度生成模型(VAE、GAN、AAE、ALI(BiGAN)) https://blog.csdn.net/u013972559/article/details/85244749 https://kexue.fm/archives/5716 https://zhuanlan.z 阅读全文

posted @ 2020-05-17 11:30 那抹阳光1994 阅读(236) 评论(0) 推荐(0) 编辑

pytorch Windows常见问题汇总
摘要:pytorch Windows常见问题汇总 https://ptorch.com/news/166.html#usage-multiprocessing 阅读全文

posted @ 2020-05-17 11:02 那抹阳光1994 阅读(263) 评论(0) 推荐(0) 编辑

深度卷积网络中如何进行上采样?
摘要:深度学习的许多应用中需要将提取的特征还原到原图像大小,如图像的语义分割、生成模型中的图像生成任务等。通过卷积和池化等技术可以将图像进行降维,因此,一些研究人员也想办法恢复原分辨率大小的图像,特别是在语义分割领域应用很成熟。 常见的上采样方法有双线性插值、转置卷积、上采样(unsampling)、上池 阅读全文

posted @ 2020-05-17 11:01 那抹阳光1994 阅读(16202) 评论(0) 推荐(2) 编辑

权重衰减(weight decay), L2正则
摘要:正则化方法:防止过拟合,提高泛化能力 避免过拟合的方法有很多:early stopping、数据集扩增(Data augmentation)、正则化(Regularization)包括L1、L2(L2 regularization也叫weight decay),dropout。 权重衰减(weigh 阅读全文

posted @ 2020-05-15 17:47 那抹阳光1994 阅读(2290) 评论(0) 推荐(1) 编辑

python中的super().__init__()
摘要:子类构造函数调用super().init() class Person: def __init__(self, name = 'Person'): self.name = name class Puple(Person): # 直接继承Person,可调用name pass class Puple_ 阅读全文

posted @ 2020-05-15 16:11 那抹阳光1994 阅读(6029) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示