Day7 神经网络三 反向传播

代价函数

　　符号解释：

　　

 

　　利用神经网络解决分类问题，可分为二元分类和多元分类：

　　

 　　其中，K=L,s₁=3，s₂=5，s₃=5，s_L=4。

　　逻辑回归和神经网络的代价函数：

　　

反向传播BackPropagation

　　为了利用梯度下降或其他高级优化算法来得到代价函数的最小值min_θJ(θ)，需要计算。

　　当训练集只有一个例子时：

　　

　　

　　当训练集有多个例子时：

　　

梯度检查

　　在对一个复杂的模型（如神经网络）进行梯度下降算法时，可能会存在一些不容易察觉的错误，由于这些小错误，看上去代价函数的值在不断减小，但最终结果可能不是最优解。

　　为了避免这种问题，我们采用梯度检查（Gradient Checking）。这种方法是通过计算近似的梯度值来检验我们得到的导数值是否正确。

　　　

　　当只有一个参数时，若满足

　　

　　可认为我们计算得到的导数值时正确的。

　　当有多个参数时，若满足

　　

　　可认为我们计算得到的导数值时正确的。　　

　　其中ϵ (epsilon)取一个较小的数，但不能太小，可取10^-4。