如何入门深度学习

      深度学习是目前非常火热的一门学科，开始受到越来越多的人关注。如果你是一个刚刚入门深度学习领域的人，这份学习笔记或许可以帮你少走很多弯路；如果你不是学生，这些笔记还可以在你忘记某些模型或算法时供你快速查阅。

本着由浅入深的步骤，分为这几大块内容，主要目录如下：

1、激活函数

　　主要包含：Sigmoid、tanh、Relu、Leaky Relu 等

　　详细内容，可参考该链接：机器学习之激活函数

2、梯度下降

　　主要包含：计算图、反向传播、L2 正则化梯度、梯度消失和梯度爆炸等

　　详细内容，可参考该链接：梯度下降算法及优化方法

3、参数

　　主要包含：可学习参数和超参数、参数初始化、超参数调优等

4、正则化

　　主要包含：L2 正则化、L1 正则化、Dropout、早停等

5、模型

　　主要包含：逻辑回归、多类分类（Softmax 回归）、迁移学习、多任务学习、卷积神经网络（CNN）、序列模型、Transformer 和 BERT 等

　　卷积神经网络（CNN）的详细内容，可参考该链接：目标检测历年最佳模型，语义分割历年最佳模型

6、实用窍门

　　主要包含：训练/开发/测试数据集、不匹配的数据分布、输入归一化以及误差分析等