随笔分类 - Deep Learning
摘要：参考一： PyTorch中LSTM的输出格式 该文章的核心内容截图如下： 总的结论： 注意：如果在搭建lstm网络时使用了batch_first=True，则lstm网络不仅接受的数据第一维是batch，而且输出的结果中，batch也会在第一维，即 output's shape (batch, se
阅读全文
摘要：从2D卷积到3D卷积，都有什么不一样(动态图演示) 3D卷积（3D Convolution) 论文笔记：基于3D卷积神经网络的人体行为识别(3D CNN) 理解3D CNN 第一种理解方式： 视频输入的维度：input_C x input_T x input_W x input_H；3D卷积核的维度
阅读全文
摘要：Pytorch：利用预训练好的VGG16网络提取图片特征
阅读全文
摘要：Image size after convolusion: where n is the width (or height) of the image, k is the kernel size, p is the padding, s is the str
阅读全文
摘要：程序来自莫烦Python，略有删减和改动。 import os import torch import torch.nn as nn import torch.utils.data as Data import torchvision import matplotlib.pyplot as plt
阅读全文
摘要：准备入坑多模态学习，收集了一些关于多模态机器学习的信息。 微信公众号 多模态机器翻译论文推荐 | PaperWeekly 介绍了三篇2016年的用了图片信息的机器翻译论文 知乎 github 博客园 CSDN 数据集 比赛 ACL2016 Multimodal Machine Translation
阅读全文
摘要：参考： Dropout解决过拟合问题 Dropout原理与实现 Dropout详解 Dropout的定义 在神经网络的训练过程的前向传播中，每个batch的迭代时，以概率p随机关闭神经元（每个neuron, 有p%的可能性被去除;（注意不是去除p比例的神经元），本次反向传播时，只更新未关闭的神经元；
阅读全文
摘要：参考： 深入理解批标准化 （推荐） 批标准化（Batch Normalization ）batch normalization, instance normalization, layer normalization, group normalization （知乎） 在训练过程中，隐层的输入分布老
阅读全文
摘要：生成对抗网络是一个关于数据的生成模型：即给定训练数据，GANs能够估计数据的概率分布，基于这个概率分布产生数据样本（这些样本可能并没有出现在训练集中）。 GAN中，两个神经网络互相竞争。给定训练集X，假设是几千张猫的图片。将一个随机向量输入给生成器G(x)，让G(x)生成和训练集类似的图片。判别器D
阅读全文
摘要：在上一篇博客中我们介绍并实现了自动编码器，本文将用PyTorch实现变分自动编码器(Variational AutoEncoder, VAE)。自动变分编码器原理与一般的自动编码器的区别在于需要在编码过程增加一点限制，迫使它生成的隐含向量能够粗略的遵循标准正态分布。这样一来，当需要生成一张新图片时，
阅读全文
摘要：一、pytorch中各损失函数的比较 Pytorch中Softmax、Log_Softmax、NLLLoss以及CrossEntropyLoss的关系与区别详解 Pytorch详解BCELoss和BCEWithLogitsLoss Focal Loss理解-菜鸟笔记 (coonote.com) 总结
阅读全文
摘要：自动编码器包括编码器(Encoder)和解码器(Decoder)两部分，编码器和解码器都可以是任意的模型，目前神经网络模型用的较多。输入的数据经过神经网络降维到一个编码(coder)，然后又通过一个神经网络去解码得到一个与原输入数据一模一样的生成数据，然后通过比较这两个数据，最小化它们之间的差异来训
阅读全文
摘要：在上一篇博客中，我们实现了用LSTM对单词进行词性判断，本篇博客我们将实现用LSTM对MNIST图片分类。MNIST图片的大小为28*28，我们将其看成长度为28的序列，序列中的每个数据的维度是28，这样我们就可以把它变成一个序列数据了。代码如下，代码中的模型搭建参考了文末的参考资料[1]，其余部分
阅读全文
摘要：本文将使用LSTM来判别一句话中每一个单词的词性。在一句话中，如果我们孤立地看某一个单词，比如单词book，而不看book前面的单词，就不能准确的判断book在这句话中是动词还是名词，但如果我们能记住book前面出现的单词，那么就能很有把握地判断book的词性。LSTM神经网络就能记住前面的单词。关
阅读全文
摘要：pytorch中实现词嵌入的模块是torch.nn.Embedding(m,n)，其中m是单词总数，n是单词的特征属性数目。 例一 import torch from torch import nn embedding = nn.Embedding(10, 3) #总共有10个单词，每个单词表示为3
阅读全文
摘要：一. 入门 对于深度学习和LSTM的新手，可参考零基础入门深度学习系列文章，这些文章用通俗易懂的方式介绍了深度学习的基础知识，包括前向传播和反向传播的数学推导等，适合入门深度学习和LSTM。 零基础入门深度学习(1) - 感知器零基础入门深度学习(2) - 线性单元和梯度下降零基础入门深度学习(3)
阅读全文
摘要：1. softmax函数定义 softmax函数为神经网络定义了一种新的输出层：它把每个神经元的输入占当前层所有神经元输入之和的比值，当作该神经元的输出。假设人工神经网络第层的第个节点的带权输入为 在该层应用softmax函数作为激活函数，则第个节点的激活值就
阅读全文
摘要：1. LeNet class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() # 1, 32, 32 layer1 = nn.Sequential() layer1.add_module('conv1', nn.
阅读全文
摘要：【梯度下降法】一：快速教程、Python简易实现以及对学习率的探讨 【梯度下降法】二：冲量（momentum）的原理与Python实现 【梯度下降法】三：学习率衰减因子（decay）的原理与Python实现
阅读全文
