摘要：
终于来到了最终的大BOSS，卷积神经网络~ 这里我想还是主要关注代码的实现，具体的CNN的知识点想以后在好好写一写，CNN的代码关键就是要加上卷积层和池话层. 一、卷积层 卷积层的前向传播还是比较容易的，我们主要关注的是反向传播，看下图就知道了： 和http://www.cnblogs.com/to 阅读全文
摘要：
一、参数更新策略 1.SGD 也就是随机梯度下降，最简单的更新形式是沿着负梯度方向改变参数（因为梯度指向的是上升方向，但是我们通常希望最小化损失函数）。假设有一个参数向量x及其梯度dx，那么最简单的更新的形式是： x += - learning_rate * dx 其中learning_rate是一 阅读全文