摘要：
目录1. 参考Batch Normalization理论作用 1. 参考 详解归一化、标准化、正则化以及batch normalization 论文 Batch Normalization BatchNorm层通常在激活函数之前应用。 它会自动计算每个特征的均值和方差，并根据小批量数据的统计信息进行 阅读全文
摘要：
目录1. 参考2. 神经网络LogisticTanh函数Hard-Logistic函数和Hard-Tanh函数ReLU函数优点缺点带泄露的ReLU带参数的ReLUELU函数Softplus函数Swish函数MISHGELU 激活函数 1. 参考 邱锡鹏老师的《神经网络与深度学习》 2. 神经网络 � 阅读全文
摘要：
目录1 参考2. 基础np.dotnp.outer 1 参考 “死亡”ReLUs 邱锡鹏老师的《神经网络与深度学习》 2. 基础 Sigmoid型函数的两端饱和， ReLU函数为左饱和函数，且在x > 0时导数为1，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度。 ReLU也是非线 阅读全文