03 导师不敢和你说的水论文隐藏技巧，模型复现后，性能低了怎么办？

博客配套视频链接: https://www.bilibili.com/video/BV1CP411G7VX/?spm_id_from=333.788 b 站直接看

0：10

这只是其中一种解释：

对于 AI 模型，用不同的显卡跑，结果很大可能不一样

求偏导的结果一定是不准确的，有有限循环小数

然后由于每个显卡精度不一样

导致反向传播和梯度下降的精度不一样

一个不一样，微乎其微，但是 1000 多万个参数，都有一点区别，一点点小小的变化会导致最后发生一个很大的变化

我和他的显卡一样，但是性能还是和原作者不一样：

第二个解释（可能造假了）：

卖论文，卖论文的人大都掌握了写论文的精髓（花里胡哨即可）

有能力的人基本不会做这种事

这个时候你需要叫他给你一份他保存的模型文件，然后用相同的代码（一模一样）跑

或者作者上传的代码最后进行了一种微调。

因为我有一行代码（看起来不重要的代码），没有注释

这也是一种解释

一个模型没有设定随机数种子，导致模型参数初始化的时候，每次结果不一致（）

解决方案

用复现的结果，一定要记住，保存证据，保存你跑出来的模型文件，然后写论文的时候记住，标明一下

你还可以做一件什么事情呢？？？？？

原论文91

复现后 89（它的模型，他论文标明的参数，最好是相同的显卡）

那你只要达到 90 就行了。这个 90 不需要你和他的参数一致，

调参

它的 bs32，你的可以是 16，它的 lr 是 0.05，你的可以是，0.005

调到最优值后，你是 90