摘要：
深度学习算子实现 阅读全文
摘要：
卷积网络的可视化和特征图 阅读全文
摘要：
pooling 操作的实现 阅读全文
摘要：
介绍conv的forward和优化方式 阅读全文
摘要：
Batch Normalization 的算法实现 阅读全文
摘要：
解决过拟合的方法与实现 阅读全文
摘要：
optimization的实现 阅读全文
摘要：
softmax的实现 阅读全文
摘要：
我们已经可以实现一些简单的节点（比如， 加法，乘法等），以及 激活函数；
并且已经知道了 backward() 函数的实现的方法：只要计算偏导数即可，将偏导数公式的实现放到 对应节点的backward函数中即可；
在本章中会介绍一些复杂的层，比如affine, Softmax-with-Loss ; 本章比较考验数学功底、对梯度求导的理解、对计算图的理解；
话不多说，开始.... 阅读全文
摘要：
在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效的计算出梯度的方法：基于图的误差反向传播。
根据 deep learning from scratch 这本书的介绍，在误差反向传播方法的实现上有两种方法：一种是基于数学式的（第二篇就是利用的这种方法），一种是基于计算图的。这两种方法的本质是一样的，有所不同的是表述方法。计算图的方法可以参考feifei li负责的斯坦福大学公开课CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我们的误差传播是基于数学式的，可以看出对代码编写者来说很麻烦； 阅读全文
摘要：
Backward是神经网络训练过程中包含的一个过程，在这个过程中会通过反馈调节网络中各个节点的权重，以此达到最佳权重参数。在反馈中，loss value是起点，是衡量与label之间差距的值。Loss value 自然是loss function计算得出的。 阅读全文
摘要：
传送门： https://www.cnblogs.com/greentomlee/p/12314064.html
github: Leezhen2014: https://github.com/Leezhen2014/python_deep_learning
在第二篇中介绍了用数值微分的形式计算神经网络的梯度，数值微分的形式比较简单也容易实现，但是计算上比较耗时。本章会介绍一种能够较为高效的计算出梯度的方法：基于图的误差反向传播。
根据 deep learning from scratch 这本书的介绍，在误差反向传播方法的实现上有两种方法：一种是基于数学式的（第二篇就是利用的这种方法），一种是基于计算图的。这两种方法的本质是一样的，有所不同的是表述方法。计算图的方法可以参考feifei li负责的斯坦福大学公开课CS231n 或者theano的tutorial/Futher readings/graph Structures.
之前我们的误差传播是基于数学式的，可以看出对代码编写者来说很麻烦；
这次我们换成基于计算图的； 阅读全文
摘要：
Forward指的是神经网络推理，forward与感知机相比，多了一个激活函数的模块。因此本章需要实现激活函数，另外也需要重新实现y=w*x+b。 阅读全文