文章分类 - machine learning
摘要:机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法处理,那么搞懂什么是梯度,什么是梯度下降法就非常重要!这是基础中的基础,也是必须掌握的概念!
提到梯度,就必须从导数(derivative)、偏导数(partial derivative)和方向导数(directional derivative)讲起,弄清楚这些概念,才能够正确理解为什么在优化问题中使用梯度下降法来优化目标函数,并熟练掌握梯度下降法(Gradient Descent)。
阅读全文
公告
搜索
积分与排名
- 积分 - 187780
- 排名 - 6733
最新评论
- 1. Re:贝叶斯深度学习(bayesian deep learning)
写的非常清晰明了,正在写贝叶斯深度学习的本子,这篇博客帮了大忙,非常感想
- --ztws
- 2. Re:卷积神经网络(Convolutional Neural Network,CNN)
非常牛逼
- --xiaohuazi
- 3. Re:经典卷积神经网络结构——LeNet-5、AlexNet、VGG-16
博主借鉴一下leNet-5网络结构思路完成小作业写文档,跪谢!
- --later……
- 4. Re:Adam和学习率衰减(learning rate decay)
- @禾禾斗斗 已修改...
- --wuliytTaotao
- 5. Re:Adam和学习率衰减(learning rate decay)
- 在最简单的梯度下降法中,学习率 η 是常数,是一个需要实现设定好的超参数, 实现-->事先...
- --禾禾斗斗