SDG,ADAM,LookAhead,Lion等优化器的对比介绍

本文将介绍了最先进的深度学习优化方法，帮助神经网络训练得更快，表现得更好。有很多个不同形式的优化器，这里我们只找最基础、最常用、最有效和最新的来介绍。

优化器

首先，让我们定义优化。当我们训练我们的模型以使其表现更好时，首先使用损失函数，训练时损失的减少表明我们的模型运行良好。而优化是用来描述这种减少损失技术的术语。

“损失函数”是什么意思?

多个变量的值被映射成一个实数，该实数直观地表示使用损失函数与事件相关的一些“成本”。

实际值与模型预测值之间的差值被加起来被称作损失，而计算这种差值的函数被称作损失函数。

Σ (y_actual — y_predicted)/n (from i=1 to n {n = Number of samples})

这是一种衡量算法对它所使用的数据建模的好坏的方法。如果你的预测不准确，你的损失函数将产生更大的值。数字越低，说明模型越好。

实际的Y值由上面例子中的绿色点表示，拟合的直线由蓝色线表示(由我们的模型预测的值)。

让我们开始介绍优化技术来增强我们模型并尽可能减少前面提到的损失函数

 

完整文章：

 

https://avoid.overfit.cn/post/f7ed65f0a24a41ba942df18598f17e5c