深度神经网络基础

（本文记录深度神经网络中最基本最重要的内容，想要快速复习这些内容，阅读这些笔记即可）

1.反向传播

     反向传播理解：https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit

     最好的向量反向传播理解：http://www.cnblogs.com/coldyan/p/8288727.html 第四部分（关于反向传播的心得体会）

     手写笔记

2.激活函数

     手写笔记

     http://www.cnblogs.com/coldyan/p/8309014.html  第二部分（常见激活函数及其特点）

3.BN，各种正则化，各种优化：

     手写笔记

4.数据预处理

     https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit    

     PCA的原理这篇文章讲的很清楚：http://blog.csdn.net/zhongkelee/article/details/44064401 

5.权重初始化

    https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit

6.迁移学习

     http://cs231n.github.io/transfer-learning/

7.实践技巧（很重要）

     梯度检查，合理性检查，学习过程检查：https://zhuanlan.zhihu.com/p/21741716?refer=intelligentunit

     调参技巧：https://zhuanlan.zhihu.com/p/21798784?refer=intelligentunit