随笔分类 - Deep Learning
摘要：###0.背景 这篇论文是2017年11月29号第一次提交到arxiv并紧接着30号就提交了V2版本的。 近些年DCNN模型在图像生成和修复上面表现很好，大部分人认为好的原因主要是由于网络基于大量的图片训练，从数据中获取了足够的信息，从而使得模型性能这么好。然而Dmitry Ulyanov等人的这篇
阅读全文
摘要：###0.引言 我们发现传统的（如前向网络等）非循环的NN都是假设样本之间无依赖关系（至少时间和顺序上是无依赖关系），而许多学习任务却都涉及到处理序列数据，如image captioning，speech synthesis，music generation是基于模型输出序列数据；如time ser
阅读全文
摘要：###0.背景 这个模型是《Deep Learning高质量》群里的牛津大神Weidi Xie在介绍他们的VGG face2时候，看到对应的论文《VGGFace2: A dataset for recognising faces across pose and age》中对比实验涉及到的SENet，
阅读全文
摘要：###0.背景 随着CNN变得越来越深，人们发现会有梯度消失的现象。这个问题主要是单路径的信息和梯度的传播，其中的激活函数都是非线性的，从而特别是乘法就可以使得随着层数越深，假设将传统的神经网络的每一层看成是自动机中的一个状态。那么对于整个神经网络来说，输入到输出就是一个输入态不断的转移到输出态的一
阅读全文
摘要：###0.背景 RNN模型，特别是包含着门控制的如LSTM等模型，近年来成了深度学习解决序列任务的标准结构。RNN层不但可以解决变长输入的问题，还能通过多层堆叠来增加网络的深度，提升表征能力和提升准确度。然而，标准的RNN（包括LSTM）受限于无法处理那些具有非常长的序列问题，例如文档分类或者字符级
阅读全文
摘要：###0.背景 对于如机器翻译、语言模型、观点挖掘、问答系统等都依赖于RNN模型，而序列的前后依赖导致RNN并行化较为困难，所以其计算速度远没有CNN那么快。即使不管训练的耗时程度，部署时候只要模型稍微大点，实时性也会受到影响。 Tao Lei等人基于对LSTM、GRU等模型的研究，提出了SRU模型
阅读全文
摘要：0. Introduction 基于纳什平衡，零和游戏，最大最小策略等角度来作为GAN的引言 1. GAN GAN开山之作 图1.1 GAN的判别器和生成器的结构图及loss ###2. Conditional GAN 图2.1 CGAN的目标函数 图2.2 CGAN的判别器和生成器的结构图及los
阅读全文
摘要：###0. 背景 何凯明大神等人在提出了ResNet网络结构之后，对其做了进一步的分析工作，详细的分析了ResNet 构建块能起作用的本质所在。并通过一系列的实验来验证恒等映射的重要性，并由此提出了新的构建块模型使得网络能够更容易训练和更好的泛化性能（比如不同于ResNet v1中对cifar-10
阅读全文
摘要：下面的RNN，LSTM，GRU模型图来自这里 简单的综述 1. RNN 图1.1 标准RNN模型的结构 2. BiRNN 3. LSTM 图3.1 LSTM模型的结构 4. Clockwork RNN 5. Depth Gated RNN 6. Grid LSTM 7. DRAW 8. RLVM 9
阅读全文
摘要：###0. 背景 随着何凯明等人提出的ResNet v1，google这边坐不住了，他们基于inception v3的基础上，引入了残差结构，提出了inception-resnet-v1和inception-resnet-v2，并修改inception模块提出了inception v4结构。基于in
阅读全文
摘要：###0. 背景 众所周知，深度学习，要的就是深度，VGG主要的工作贡献就是基于小卷积核的基础上，去探寻网络深度对结果的影响。而何恺明大神等人发现，不是随着网络深度增加，效果就好的，他们发现了一个违背直觉的现象。 图0.1 不同层数的传统网络下的结果表现 最开始，我们认为随着深度的增加，网络效果不好
阅读全文
摘要：###0 - 背景 在经过了inception v1的基础上，google的人员还是觉得有维度约间的空间，在《Rethinking the Inception Architecture for Computer Vision》一文中，通过卷积分解、网格约间等方式来修改inception模块。当然了在
阅读全文
摘要：###1 - 背景 摘要：因为随着前面层的参数的改变会导致后面层得到的输入数据的分布也会不断地改变，从而训练dnn变得麻烦。那么通过降低学习率和小心地参数初始化又会减慢训练过程，而且会使得具有饱和非线性模型的训练变得很困难。我们将这种现象叫做internal covariate shift。BN通过
阅读全文
摘要：###1 - V1 google团队在模型上，更多考虑的是实用性，也就是如何能让强大的深度学习模型能够用在嵌入式或者移动设备上。传统的想增强模型的方法无非就是深度和宽度，而如果简单的增加深度和宽度，那么带来的更大参数要训练和需要更强大的计算资源去计算。所以，google团队要做的就是如何在保证模型准
阅读全文
摘要：###0. AlexNet ###1. VGG VGG网络相对来说，结构简单，通俗易懂，作者通过分析2013年imagenet的比赛的最好模型，并发现感受野还是小的好，然后再加上《network in network》中的$1*1$卷积核，使得全文只在卷积网络的深度上做文章，从而得出了网络还是越深越
阅读全文
摘要：###0. AlexNet ###1. VGG VGG网络相对来说，结构简单，通俗易懂，作者通过分析2013年imagenet的比赛的最好模型，并发现感受野还是小的好，然后再加上《network in network》中的$1*1$卷积核，使得全文只在卷积网络的深度上做文章，从而得出了网络还是越深越
阅读全文
摘要：###0 - 背景 从rcnn，spp，fast rcnn， faster rcnn，yolo，ssd，这里又有个新模型叫rfcn，即Region-based Fully Convolutional Networks，R-FCN。虽然其比yolo，ssd出来的晚，不过看模型结构，更多的是针对fast
阅读全文
摘要：###0. 背景 经过了rcnn，spp，fast rcnn， faster rcnn，yolo，这里又到了ssd模型。 faster rcnn的贡献是将候选框区域提取的部分也集成到CNN中去，并且与对象的分类和候选框区域微调共享同一个基CNN，而其中还是存在需要做4步训练的方法（作者虽然后续也实现
阅读全文
摘要：这部分，写一写faster rcnn ###0. faster rcnn 经过了rcnn，spp，fast rcnn，又到了faster rcnn，作者在对前面的模型回顾中发现，fast rcnn提出的roi pooling 虽然解决的cnn网络在单张完整图重复计算的问题（每个由ss算法得到的区域候
阅读全文
摘要：近些年，随着DL的不断兴起，计算机视觉中的对象检测领域也随着CNN的广泛使用而大放异彩，其中Girshick等人的《R-CNN》是第一篇基于CNN进行对象检测的文献。本文欲通过自己的理解来记录这几大模型的发展。（自己挖坑，自己待填） ###0. overfeat ###0.1. MultiBox #
阅读全文