深度学习面试题27:非对称卷积(Asymmetric Convolutions)

目录

  产生背景

  举例

  参考资料


 

产生背景

之前在深度学习面试题16:小卷积核级联卷积VS大卷积核卷积中介绍过小卷积核的三个优势:

①整合了三个非线性激活层,代替单一非线性激活层,增加了判别能力。

②减少了网络参数。

③减少了计算量

在《Rethinking the Inception Architecture for Computer Vision》中作者还想把小卷积核继续拆解,从而进一步增强前面的优势

 返回目录

 

举例

一个3*3的卷积可以拆解为:一个3*1的卷积再串联一个1*3的卷积,实验证明这样做在精度上损失不大,这两者的感受野是相同的,如下图所示:

 

同理,

5*5的卷积可以拆解为:一个5*1的卷积再串联一个1*5的卷积

7*7的卷积可以拆解为:一个7*1的卷积再串联一个1*7的卷积

作者在论文《Rethinking the Inception Architecture for Computer Vision》中说明,这样的非对称卷积不要用在靠近输入的层,会影响精度,要用在较高的层

 返回目录

 

参考资料

《图解深度学习与神经网络:从张量到TensorFlow实现》_张平

Rethinking the Inception Architecture for Computer Vision

 返回目录

 

posted @ 2019-07-26 18:13  黎明程序员  阅读(4052)  评论(0编辑  收藏  举报