摘要：
目的： 提升深度神经网络的性能。 一般方法带来的问题： 增加网络的深度与宽度。 带来两个问题： （1）参数增加，数据不足的情况容易导致过拟合 （2）计算资源要求高，而且在训练过程中会使得很多参数趋向于0，浪费计算资源。 解决方法： 使用稀疏连接替代稠密结构。 理论依据（Arora）：一个概率分布可以 阅读全文
摘要：
目的： 通过用Mlpconv层来替代传统的conv层，可以学习到更加抽象的特征。传统卷积层通过将前一层进行了线性组合，然后经过非线性激活得到(GLM)，作者认为传统卷积层的假设是基于特征的线性可分。而Mlpconv层使用多层感知机，是一个深层的网络结构，可以近似任何非线性的函数。在网络中高层的抽象特 阅读全文