【简读】Can CNNs Be More Robust Than Transformers

单位：加州大学、约翰-霍普金斯大学

 

主要探究了CNN中的鲁棒性问题，作者最终归结为以下三个因素，加上以下三个结果后，CNN的鲁棒性足以和Transformer比肩：

（1）Patchify Stem

（2）Large Kernel Size

（3）Reducing Activation and Normalization Layers

 

作者做的实验很多，以上三个模块是从各个方向比较得到的结果。另外还提到了知识蒸馏和在大模型上的适用性。