机器学习笔记——梯度检测方法概念和原理
本文为博主原创文章,未经授权禁止转载。
我再csdn也同步发布了本文,欢迎大家访问 https://blog.csdn.net/umbrellalalalala/article/details/80249485
什么是梯度检测
概述
实现神经网络的反向传播算法含有许多细节,在编程实现中很容易出现一些
微妙的bug,但往往这些bug并不会影响你的程序运行,而且你的损失函数看样子也在不断变小。但最终,你的程序得出的结果误差将会比那些无bug的程序高出一个数量级
当我们对一个较为复杂的模型(例如神经网络)使用梯度下降算法时,可能会存在一些不容易察觉的错误(比如难以发现的bug),虽然在训练过程中,代价函数在变小,但最终的结果可能并不是最优解。
所以我们采用一种叫梯度检测的思想,它可以通过估计梯度(或导数)的近似值来估算我们的梯度下降算法算出的梯度(或导数)是否为正确的。
梯度检测的原理
梯度检测会估计梯度(或导数)值,然后和你程序计算出来的梯度(导数)的值
进行对比,以判断程序算出的梯度(导数)值是否正确
上图中,我们关注\(θ_0\)点的函数的导数,即\(θ_0\)点切线(图中蓝线)的斜率,现在我们在\(θ_0-ε\)和\(θ_0+ε\)两点连一条线(图中红线),我们发现红线的斜率和蓝线斜率很相似。
红线的斜率可以用以下式子表示:
\(\frac{J(θ_0+ε)-J(θ_0-ε)}{2ε}\)
实际上,以上的式子很好地表示了\(θ_0\)点导数的近似值。
在实际的应用中,θ往往是一个向量,梯度下降算法要求我们对向量中的每一个分量进行偏导数的计算,对于偏导数,我们同样可以用以下式子进行近似计算:
\(\frac{J(θ_1+ε,θ_2,θ_3...θ_n)-J(θ_1-ε,θ_2,θ_3...θ_n)}{2ε}\)
上式很好地估计了损失函数对\(θ_1\)的偏导数。
使用时的注意事项
梯度检测方法的开销是非常大的,比反向传播算法的开销都大,所以一旦用梯度检测方法确认了梯度下降算法算出的梯度(或导数)值是正确的,那么就及时关闭它。
一般来说ε的值选\(10^{-4}\),注意并不是越小越好。
Enjoy the symphony of the storm. ——umbrellalalalala