摘要：
一、梯度下降、随机梯度下降、批量梯度下降 梯度下降：梯度下降中，对于θ 的更新，所有的样本都有贡献，也就是参与调整θ 。其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下，当然是这样收敛的速度会更快。 随机梯度下降：随机梯度下降法，随机用样本中的一个例子来近似总 阅读全文
摘要：
说到神经网络，大家看到这个图应该不陌生： 这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把 阅读全文