摘要：
前言 我们之前不是说了有关梯度下降公式的事嘛，就是那个 这样梯度下降公式涉及两个问题，一是梯度下降的策略，二是涉及到参数的选择，如果我们选择固定步长的时候，就会发现我们求的值一直在最小值左右震荡，很难选择到我们期望的值。 假设上图中，x0为我们期望的极小值，yB = xA - yA'xA的时候，xB 阅读全文
摘要：
前言 我们之前用的是均方差作为我们神经网络的损失函数评估值，但是我们对于结果，比如给定你一张应该是0的照片，它识别成了6，这个时候这个均方差表达了什么特别的含义吗？显然你识别成6并不代表它比识别成1的情况误差更大。 所以说我们需要一种全新的方式，基于概率的方案来对结果进行规范。也就是我们说的交叉熵损 阅读全文
摘要：
前言 第一次写卷积神经网络，也是照着paddlepaddle的官方文档抄，这里简单讲解一下心得。 首先我们要知道之前写的那些东西都是什么，之前写的我们称之为简单神经网络，也就是简单一层连接输出和输出，通过前向计算和逆向传播，以及梯度下降的方式让结果慢慢滑向我们期望的终点。 这种方法固然好，但是它的限 阅读全文