2022年关于损失函数的5篇最新论文推荐

 

1、Hybridised Loss Functions for Improved Neural Network Generalisation

Matthew C. Dickson, Anna S. Bosman, Katherine M. Malan

https://arxiv.org/pdf/2204.12244.pdf

损失函数在人工神经网络 (ANN) 的训练中发挥着重要作用，并且会影响 ANN 模型的泛化能力以及其他属性。已经有研究表明交叉熵和平方和误差损失函数会导致不同的训练结果，并表现出相互补充的不同属性。之前有人提出，熵和平方和误差损失函数的混合可以结合这两个函数的优点，同时限制它们的缺点。本论文研究了这种混合损失函数的有效性，结果表明，两种损失函数的混合提高了神经网络考虑问题上的泛化能力。以平方和误差损失函数开始训练然后切换到交叉熵损失函数的混合损失函数可以表现出最佳的性能，或者与最佳损失函数没有显着差异。这项研究表明，通过切换到交叉熵损失函数，可以进一步利用平方和误差损失函数发现的最小值。因此可以得出结论，两种损失函数的混合可以提高神经网络的性能。

 

完整文章：

https://avoid.overfit.cn/post/e47482a73a0640d39f9a870765f80164