KID_XiaoYuan

摘要： 梯度检验的目的： 当我们对一个复杂的模型，使用梯度下降算法时，可能会存在一些不容易察觉的错误，这意味着，虽然看上去代价在不断的减小，俺单身实际上最终结果并不是最优解。 为了避免这种问题，我们采用一种被称作梯度检验的方法来检验我们所计算出来的导数的值是不是我们所想要的。这种方法的思想是通过梯度值来检验 阅读全文

摘要： 知识回顾 1：首先引入一些便于稍后讨论的新标记方法： 假设神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络的层数，S表示每层输入的神经元的个数，SL代表最后一层中处理的单元个数。 之前，我们所讲到的，我们可以把神经网络的定义分为2类： 1）二元分类：SL = 1,其中y 阅读全文