摘要: 我觉得最重要的有两点: 处理变长序列的稳定性:BN是在不同样本的同一维度做归一化,因为在seq2seq的场景中,样本数量不是固定的/输入序列是变长的,使用BN会导致不稳定。LN是在同一样本的不同维度做归一化,这样会更稳定。 小批量下的鲁棒性:Batch Norm的性能受批量大小影响显著,小批量可能导 阅读全文
posted @ 2025-01-30 13:10 岁 阅读(32) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示