深度学习的优化算法

最优化理论里面

0阶优化算法

1阶优化算法

2阶优化算法

具体定义和缺陷如下：针对深度学习以一阶的优化算法为主为主线

0阶优化算法：该算法仅仅需要因变量的数值，而不需要导数信息。因变量通过最小二乘法的拟合值近似，而约束极小化问题用罚函数转化为无约束问题，极小化过程在近似的罚函数上迭代。直到获得收敛的解。

0阶算法不利用一阶导数信息,一阶算法利用一阶导数信息. 零阶算法是在一定次数的抽样基础上,拟合设计变量、状态变量和目标函数的响应函数,从而寻求最优解,顾又可称其为子问题方法.

具体的0阶算法