神经网络相关论文总结
| Name | Year | Chararcteristics | Paper link |
|---|---|---|---|
| LeNet-5 | 1998 | 开山之作，实现了参数共享，局部感知，平均池化降采样 | LeNet-5 |
| AlexNet | 2012 | 使用ReLU解决梯度弥散，使用dropout解决过拟合，多GPU训练提升速度，提出了局部响应归一化(LRN)进一步防止梯度爆炸(后来证明不如BN)，数据增强提升了泛化性能 | AlexNet |
| ZFNet | 2013 | 类似于AlexNet，卷积核的大小减小,做了很多细小的试验，验证深度学习的可行性，包括可视化中间特征，对后来的研究很有意义 | ZFNet |
| OverFeat | 2013 | 在特征图后面加入bbox回归网络，相对于Alexnet，不使用LRN，更大的pooling stride | OverFeat |
| VGG | 2015 | 证明网络深度是很有影响力的，但是太深会梯度爆炸(在resnet出现之后解决了深度问题) | VGG |
| NIN | 2014 | conv+relu是假设问题时线性可分的，但是实际问题往往是非线性可分，提出的多层感知机卷积层，是对conv+relu的改进，增加局部模型的表达能力;全局平均池化，避免过拟合;参数更少;提出了1x1卷积，后续的inception系列会用到 | NIN |
| GoogleNet (inception V1) |
2014 | 多种大小卷积并联,在增加宽度的同时增加网络对尺度的适应性 | GoogleNet |
| inception V2 | 2015 | 加入了BN层,用两个3x3代替5x5的卷积，减少参数量，加速计算 | inception V2 |
| inception V3 | 2016 | 提出只有等比例的增大深度和维度才能最大限度的提升网络的性能，网络的深度和宽度要平衡，V3的网络更深更宽，相对V1增加了1.5倍参数，但精度极大提升 | inception V3 |
| inception-V4 | 2016 | 优化了stem模块，inception模块更宽了，总的层数也更深，效果更好 | inception-V4 |
| Inception-ResNet-V1 | 2016 | 在inception-V3的基础上引入resnet思想，计算量和效果基本一致，训练更快 | Inception-ResNet-V1 |
| Inception-ResNet-V2 | 2016 | 在inception-V4的基础上引入resnet思想，计算量和效果基本一致，训练更快 | Inception-ResNet-V1 |
| ResNet-V1 | 2015 | 作者推断训练残差比训练原始函数更容易，引入了shortcut或者叫瓶颈，解决了深度网络的退化问题 | ResNet-V1 |
| ResNet-V2 | 2016 | V1在200层左右就会出现过拟合，在V2中调整了relu层在残差块中的位置，实现了预激活，实现了深度达到1000的时候都不会出现过拟合 | ResNet-V2 |
| ReNeXt | 2016 | 根据inception和resnet的结构，讨论了不同情况下的网络结构对于网络的影响，优化了resnet，使用更少的参数量，能够达到和resnet一样的效果 | ReNeXt |
| SENet | 2017 | 考虑特征通道之间的关系，提出了SE模块，在short cut中引入了全局平均池化，可以内嵌到其他的网络，获得不同种类的 SENet，提升效果 | SENet |
| MobileNet V1 | 2017 | 体积小，计算量少，适用于移动设备的卷积神经网络,用深度可分离卷积（Depthwise separable convolution）代替标准的卷积，并使用宽度因子(width multiply)减少参数量 | MobileNet V1 |
| MobileNet V2 | 2018 | 轻量化网络，主要解决了MobileNet V1在训练过程中非常容易梯度弥散的问题,增加skip connection,删除最后一层的ReLu6，Inverted residual block，先升维再卷积，避免破坏特征 | MobileNet V2 |
| ShuffleNet V1 | 2017 | 使用Group convolution和Channel shuffle改进ResNet | ShuffleNet V1 |
| ShuffleNet V2 | 2018 | 输入通道数与输出通道数保持相等,改变V1的结构，使得他更符合现有的一些效果好的规则，加入SE之后，网络也会有很好的提升 | ShuffleNet V2 |
| SqueezeNet | 2017 | SqueezeNet以AlexNet大约1/50的参数实现了类似的性能 | SqueezeNet |
| Xception | 2016 | 网络结构的新的尝试，深度可分离卷积降低计算量 | Xception |
后续的语义分割的论文另开一篇详细总结
