摘要:
基本概念 loss function(损失函数): 一个样本的误差 cost function(代价函数): 整个训练集上的所有样本误差的平均 objective function (目标函数):代价函数+正则化项 risk function(风险函数):损失函数的期望 empirical risk 阅读全文
摘要:
参考文献 An overview of gradient descent optimization algorithms 梯度下降 GD(Gradient Descent) 梯度方向是函数变化率最大的方向,是函数增长最快的方向。 梯度的反方向是函数减少的最快方向。 ex: 从山上走到谷底 \(x_j 阅读全文