摘要: 最优化 机器学习的优化目标:最小化损失函数 梯度下降 认识梯度下降 随机梯度下降: 使用mini-batch计算出结果后再根据梯度下降法的公式去更新参数,下一步再随机采样子集,重复该操作。此方法称为随机梯度下降(SGD) 梯度下降在实际中的问题 病态条件 局部最小 VS 全局最小 SGD方法的改进 阅读全文
posted @ 2021-02-01 22:10 一粒盐 阅读(22) 评论(0) 推荐(0) 编辑