2023年2月11日
BatchNormalize and LayerNormalize
摘要： 层归一化前置和梯度累计 层归一化前置和梯度累计是两个提升模型训练速度和收敛稳定性的训练技巧. 层归一化前置 ​ BatchNormalization的出现无疑是广大AI调参侠的福音，将大家从繁琐的权重初始化、学习率调节中释放出来。它不仅能够大大加快收敛速度，还自带正则化功能，是Google 2015 阅读全文
posted @ 2023-02-11 12:27 wtyuyuyu 阅读(43) 评论(0) 推荐(0)