(最陡)梯度下降法

考虑最优化问题：
\begin{equation}
x^{*}=\arg\min_{x}S(x)=\arg\min_{x}\|f(x)-z\|_{2}^{2}\label{eq:gen_opt-2}
\end{equation}
其中，$S(x)=\epsilon^{T}\epsilon$，$\epsilon=f(x)-z$。二次型函数$S(x)$的梯度为
\[
\nabla S(x)=\frac{\partial S(x)}{\partial x}=-2\left[\frac{\partial f(x)}{\partial x}\right]^{T}[f(x)-z]=-2J^{T}\epsilon
\]

沿着负梯度方向$-\nabla S(x)$，指标函数下降最快。故可以沿着负梯度方向，迭代地更新$x$:
\[
x:=x-\gamma\nabla S(x)=x+\gamma J^{T}\epsilon,\:\gamma\to0\label{eq:gen_opt_gd}
\]
直到收敛。