2019年4月30日
Batch-normalization
摘要： BN是对当前mini-batch进行归一化。 CBN是对当前以及当前往前数3个mini-batch的结果进行归一化 CmBN则是仅仅在这个Batch中进行累积。(直觉上最正确的做法，因为参与Normalize计算均值和方差的样本越多越能稳定输出，越接近真实数据分布)。比BN高出不到一个百分点。 1 阅读全文
posted @ 2019-04-30 02:47 Parallax 阅读(168) 评论(0) 推荐(0) 编辑