Weighted Channel Dropout for Regularization of Deep Convolutional Neural Network
这是AAAI2019的一篇论文,主要是为了解决小数据集的过拟合问题,使用了针对于卷积层的Dropout的方法。
论文的要点记录于下:
1、在训练过程中对于卷积层的channels进行droipout,在test的过程中层与层之间传递所有的channels。
2、对于卷积层的Channels不是随机的去dropout,而是去评定每个channel的重要性,就是所谓的为每个channel去打分,这个channel的值是通过全局平局池化得到的,后面根据这个分数计算概率,再加上一定的随机性,便是去保留哪些channel。
能不能将dropout和剪枝结合起来呢?