摘要：
###0.背景 RNN模型，特别是包含着门控制的如LSTM等模型，近年来成了深度学习解决序列任务的标准结构。RNN层不但可以解决变长输入的问题，还能通过多层堆叠来增加网络的深度，提升表征能力和提升准确度。然而，标准的RNN（包括LSTM）受限于无法处理那些具有非常长的序列问题，例如文档分类或者字符级 阅读全文
摘要：
###0.背景 对于如机器翻译、语言模型、观点挖掘、问答系统等都依赖于RNN模型，而序列的前后依赖导致RNN并行化较为困难，所以其计算速度远没有CNN那么快。即使不管训练的耗时程度，部署时候只要模型稍微大点，实时性也会受到影响。 Tao Lei等人基于对LSTM、GRU等模型的研究，提出了SRU模型 阅读全文
摘要：
0. Introduction 基于纳什平衡，零和游戏，最大最小策略等角度来作为GAN的引言 1. GAN GAN开山之作 图1.1 GAN的判别器和生成器的结构图及loss ###2. Conditional GAN 图2.1 CGAN的目标函数 图2.2 CGAN的判别器和生成器的结构图及los 阅读全文
摘要：
###0. 背景 何凯明大神等人在提出了ResNet网络结构之后，对其做了进一步的分析工作，详细的分析了ResNet 构建块能起作用的本质所在。并通过一系列的实验来验证恒等映射的重要性，并由此提出了新的构建块模型使得网络能够更容易训练和更好的泛化性能（比如不同于ResNet v1中对cifar-10 阅读全文
摘要：
下面的RNN，LSTM，GRU模型图来自这里 简单的综述 1. RNN 图1.1 标准RNN模型的结构 2. BiRNN 3. LSTM 图3.1 LSTM模型的结构 4. Clockwork RNN 5. Depth Gated RNN 6. Grid LSTM 7. DRAW 8. RLVM 9 阅读全文
摘要：
###0. 背景 随着何凯明等人提出的ResNet v1，google这边坐不住了，他们基于inception v3的基础上，引入了残差结构，提出了inception-resnet-v1和inception-resnet-v2，并修改inception模块提出了inception v4结构。基于in 阅读全文
摘要：
###0. 背景 众所周知，深度学习，要的就是深度，VGG主要的工作贡献就是基于小卷积核的基础上，去探寻网络深度对结果的影响。而何恺明大神等人发现，不是随着网络深度增加，效果就好的，他们发现了一个违背直觉的现象。 图0.1 不同层数的传统网络下的结果表现 最开始，我们认为随着深度的增加，网络效果不好 阅读全文
摘要：
###0 - 背景 在经过了inception v1的基础上，google的人员还是觉得有维度约间的空间，在《Rethinking the Inception Architecture for Computer Vision》一文中，通过卷积分解、网格约间等方式来修改inception模块。当然了在 阅读全文
摘要：
###1 - 背景 摘要：因为随着前面层的参数的改变会导致后面层得到的输入数据的分布也会不断地改变，从而训练dnn变得麻烦。那么通过降低学习率和小心地参数初始化又会减慢训练过程，而且会使得具有饱和非线性模型的训练变得很困难。我们将这种现象叫做internal covariate shift。BN通过 阅读全文
摘要：
###1 - V1 google团队在模型上，更多考虑的是实用性，也就是如何能让强大的深度学习模型能够用在嵌入式或者移动设备上。传统的想增强模型的方法无非就是深度和宽度，而如果简单的增加深度和宽度，那么带来的更大参数要训练和需要更强大的计算资源去计算。所以，google团队要做的就是如何在保证模型准 阅读全文