2020年8月28日
批标准化BN和层标准化LN
摘要： BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分 阅读全文
posted @ 2020-08-28 16:48 littlepai 阅读(834) 评论(0) 推荐(0) 编辑