摘要：
理解深度学习中不同激活函数的特点时，可以结合相应的数学公式来更清晰地理解它们。 #### 以下是常见激活函数的特点以及相应的数学公式解释： - 神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以 阅读全文
摘要：
### 对数值类型的特征进行归一化是为了确保不同特征之间的数值范围一致，从而有助于机器学习模型更好地理解和处理数据。以下是一些常见的原因和好处： 1. 梯度下降：在许多机器学习算法中，如线性回归、支持向量机、神经网络等，都使用梯度下降来最小化损失函数。如果不对特征进行归一化，那些具有较大范围值的特征 阅读全文
摘要：
### 批归一化（Batch Normalization，简称BN）是一种深度学习中常用的正则化技术，它有一些可训练的参数，包括： - 缩放参数（Scale）： 通常用γ表示，它用来调整每个特征的标准差，从而控制特征的缩放。 - 偏移参数（Shift）： 通常用β表示，它用来调整每个特征的平均值，从 阅读全文