2022年6月23日
NFNet：NF-ResNet的延伸，不用BN的4096超大batch size训练 | 21年论文
摘要： 论文认为Batch Normalization并不是网络的必要构造，反而会带来不少问题，于是开始研究Normalizer-Free网络，希望既有相当的性能也能支持大规模训练。论文提出ACG梯度裁剪方法来辅助训练，能有效防止梯度爆炸，另外还基于NF-ResNet的思想将SE-ResNet改造成NFNe 阅读全文
posted @ 2022-06-23 13:11 晓飞的算法工程笔记 阅读(76) 评论(0) 推荐(0) 编辑