不仅仅只有梯度下降算法——计算代价函数和θ编导数
问题：
给出代价函数J(θ)，需要最小化J(θ)
给出初始θ后，我们需要反复计算
\[J\left( \theta \right)\]
\[\frac{\partial }{{\partial {\theta _j}}}J\left( \theta \right)\]
梯度下降算法：
重复{
\[{\theta _j}: = {\theta _j} - \alpha \frac{\partial }{{\partial {\theta _j}}}J\left( \theta \right)\]
}
优化算法有
- Conjugate gradient
- BFGS
- L-BFGS
这三个算法的优势有
- 不需要人工选择α
- 通常比梯度下降算法更快
缺点
- 更复杂
