摘要：
基本概念 loss function（损失函数）: 一个样本的误差 cost function（代价函数）: 整个训练集上的所有样本误差的平均 objective function (目标函数)：代价函数+正则化项 risk function（风险函数）：损失函数的期望 empirical risk 阅读全文
摘要：
参考文献 An overview of gradient descent optimization algorithms 梯度下降 GD(Gradient Descent) 梯度方向是函数变化率最大的方向，是函数增长最快的方向。 梯度的反方向是函数减少的最快方向。 ex: 从山上走到谷底 \(x_j 阅读全文