摘要：
梯度检验应用的注意事项 （ Gradient Checking Implementation Notes） 首先，不要在训练中使用梯度检验，它只用于调试。我的意思是，计算所有 i值的 $d{\theta _{approx}}[i]$是一个非常漫长的计算过程，为了实施梯度下降，你必须使用 W和bbac 阅读全文
摘要：
梯度检验（ Gradient checking） 梯度检验有助于发现 backprop 实施过程中的 bug。假设你的网络中的参数：${{\rm{W}}^{[1]}},{b^{[1]}}......{W^{[l]}},{b^{[l]}}$，为了执行梯度检验，首先要做的就是，把所有参数转换成一个巨大的 阅读全文
摘要：
梯度的数值逼近（ Numerical approximation of gradients） 在实施 backprop 时，有一个测试叫做梯度检验，它的作用是确保 backprop 正确实施。因为有时候，你虽然写下了这些方程式，却不能 100%确定执行 backprop 的所有细节都是正确的。为了逐 阅读全文