深度学习基础理论知识

深度学习入门，里面包含各种基本知识：https://www.zybuluo.com/hanbingtao/note/433855

激活函数：https://blog.csdn.net/weixin_41417982/article/details/81437088
L正则化项和dropout：https://blog.csdn.net/qq_33200967/article/details/79951500

优化器：https://blog.csdn.net/LoseInVain/article/details/81708474

交叉验证的时候，每一折都需要重新定义模型和优化器

正常的数据划分为训练集、验证集、测试集三部分

调参的前提是模型需要收敛

batchsize的理解：https://www.jiqizhixin.com/articles/2018-07-12-4

神经网络的反向传播：反向传播看上去是一个很简单的过程，但实际上有很多技巧在里面。向量的加减乘除、点乘，都好理解，直接公式求导就行。loss function也好理解，无非是对不同参数层的权值更新，或者是对同一参数层的多次更新。但是向量的拼接却不是很好理解了。我个人猜想应该会保存相应向量的位置，然后对这些向量的权重进行单独更新。

训练神经网络的技巧：https://www.zhihu.com/question/41631631/answer/862075836
解决梯度消失和梯度爆炸的技巧：https://blog.csdn.net/qq_25737169/article/details/78847691