摘要：
@ 所谓随机梯度下降, 顾名思义, 就是随机选取数据来做随机梯度下降. 普通梯度下降 普通的梯度下降的计算公式为: \[ \omega = \omega - \lambda\frac{\partial J}{\omega} \] 其中, $J$为损失函数, 而$\omega$就是我们需要求的参数, 阅读全文
摘要：
全量梯度下降/批梯度下降(BGD, Batch Gradient Descent) 就是正常的梯度下降 \[ \omega = \omega-\lambda\frac{\partial J}{\partial\omega} \] 特点 每次更新都会朝着正确的方向进行, 最后收敛于极值点, 凸函数收敛 阅读全文