摘要：
次梯度算法： 梯度下降法的迭代格式为$$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 但是对于不可微的凸函数，梯度并不存在，于是使用此梯度算法： $$x_{k+1}=x_k-\alpha_k g_k)$$其中$g_k\in \partial f(x_k)$ 次梯度算法的收敛 阅读全文
摘要：
梯度下降法 对于无约束最优化问题：$$\mathop{min}_{x} f(x)$$其中$f$是可微函数,梯度下降法的更新方式如下: $$x_{k+1}=x_k-\alpha_k\nabla f(x_k)$$ 步长$\alpha_k$有多种选择方式，普通的梯度法就选择固定步长$\alpha$。 下面 阅读全文