2022年8月21日
Batch Norm 与 Layer Norm 比较
摘要： 一.结论 Batch Norm一般用于CV领域，而Layer Norm一般用于NLP领域 Batch Norm需要计算全局平均，而Layer Norm不需要计算全局平均 二.Batch Norm Batch Norm原理： BatchNorm把一个batch中同一通道的所有特征（如上图红色区域）视为 阅读全文
posted @ 2022-08-21 19:06 SXQ-BLOG 阅读(3060) 评论(0) 推荐(0) 编辑