摘要：
Adam(Adaptive Moment Estimation)算法可以直观理解为“智能调整步长的动量法”，结合了动量加速和自适应学习率的优势。以下是逐步解释： 1. 核心思想：动量和自适应学习率的结合 动量（惯性）：类似滚下山坡的球，利用历史梯度方向保持运动惯性，减少震荡。 自适应学习率：根据每个 阅读全文
摘要：
AdaGrad的两个好处的第一个解释如下 第一个benefit的含义是： Adagrad通过自动累加历史梯度平方值来调整学习率，省去了人为设定“梯度多大才算大”的阈值（threshold）。 具体解释： 原始方法的问题：例如在某些优化算法中，可能需要手动设定一个阈值，当梯度超过该值时，才调整学习率或 阅读全文
摘要：
从零开始实现中，sgd_momentum这个函数中的循环一定是要原地修改的，具体原因见这篇博客 阅读全文
摘要：
有效样本权重那里，翻译有错误。原文说的是在（随机）梯度下降中将
