深度学习基础（概念性）

这是一些深度学习基础相关概念来《自动手学习深度学习》（PyTorch版）

 3.1 线性回归

 3.4. softmax回归

softmax运算

交叉损失函数

 3.8 多层感知机

1）隐藏层

 2）激活函数

2.1 ReLU

 2.2 sigmoid

 

 2.3 tanh函数

 

 3.11 模型选择、欠拟合和过拟合

 

 

模型复杂度：

 

训练数据集大小：

影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。

 3.12 权重衰减

 3.13 丢弃法

 

 3.14 正向传播、反向传播和计算图

正向传播计算图：

 

 3.15 数值稳定性和模型初始化