摘要:
本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型,包括大家熟悉的Batch Normalization (BN)和可能不那么熟悉 的Layer Normalization (LN)、Instance Normalization (IN) 及Group Normalization (GN)模型;用生动形象的例子阐述了这些Normalization模型之间的区别和联系;并在一个统一的数学框架下分析了它们的性质;最后从一个新的数学视角分析了BN算法为什么有效。
阅读全文