摘要：
BGD, SGD, MBGD 1. BGD 批量梯度下降法（Batch Gradient Descent） 1.1 批量梯度下降法介绍 在 梯度下降法 每次迭代中，将 所有样本 用来进行参数 \(\theta\) （梯度）的更新，这其实就是 批量梯度下降法。 批量梯度下降法 的 损失函数表达式： \ 阅读全文
摘要：
Grandient Descent 1. 梯度下降法 1.1 梯度与梯度下降 对于 一元函数 来说，梯度就是函数的导数；对于 多元函数 来说，梯度是一个由函数所有 偏微分 组成的向量。 梯度下降 是通过一步步迭代，使得所有 偏微分 的值达到最低。 可以以简单的 一元二次函数 \(y = (x - 1 阅读全文