摘要: 众所周知,反向传播算法很难调试和得到正确结果,特别是在执行过程中存在许多细小难以察觉的错误。这里介绍一种方法来确定代码中导数的计算是否正确。使用这里所述求导检验方法,可以帮助提升写正确代码的信心。假设我们想最小化关于的函数 . 对于这个例子,假设,所以. 在一维空间,梯度下降的一次迭代公式如下:假设... 阅读全文
posted @ 2014-10-13 10:10 90Zeng 阅读(1096) 评论(0) 推荐(0) 编辑