2024年11月11日
GIT RE-BASIN: MERGING MODELS MODULO PERMUTATION SYMMETRIES (1)
摘要： 在深度学习模型的训练过程中,经常会遇到这样的现象：每次训练,虽然初始值、随机种子、训练数据的顺序不一样,但是得到的loss曲线都差不多,在验证集上的结果也差不多.这篇论文从land scape的角度解释了这个问题：神经网络的loss landscape并不是我们想象中的很混乱、毫无规律,而是在per 阅读全文
posted @ 2024-11-11 15:15 MSTK 阅读(42) 评论(0) 推荐(0)