随笔分类 - 人工智能基础知识
深度学习优化算法总结
摘要：大致总结一下学到的各个优化算法。 一、梯度下降法 函数的梯度表示了函数值增长速度最快的方向，那么与其相反的方向，就可看作函数减少速度最快的方向。 在深度学习中，当目标设定为求解目标函数的最小值时，只要朝梯度下降的方向前进，就可以不断逼近最优值。 梯度下降主要组成部分： 1、待优化函数f(x) 2、待
阅读全文
（转）导数、偏导数、方向导数、梯度、梯度下降
摘要：原作者：WangBo_NLPR 原文：https://blog.csdn.net/walilk/article/details/50978864 原作者：Eric_LH 原文：https://blog.csdn.net/eric_lh/article/details/78994461 前言 机器学习
阅读全文
梯度下降、随机梯度下降和批量梯度下降
摘要：4. 梯度下降法大家族（BGD，SGD，MBGD） 4.1 批量梯度下降法（Batch Gradient Descent） 批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新，这个方法对应于前面3.3.1的线性回归的梯度下降算法，也就是说3.3.1的梯度下降
阅读全文
