摘要：
神经网络梯度爆炸和消失 目录神经网络梯度爆炸和消失现象说明产生原因解决方法优化激活函数权重初始化和正则化BN归一化操作使用残差结构梯度裁剪预训练+微调参考资料 层数比较多的神经网络模型在训练的时候会出现梯度消失(gradient vanishing problem)和梯度爆炸(gradient ex 阅读全文
摘要：
torch常见激活函数 目录torch常见激活函数激活函数定义Sigmoid型S激活函数sigmoid函数Tanh函数LogSigmoid函数Softmax函数Softplus函数ReLU型及其改进ReLU函数PReLU函数LeakyReLU函数RReLU函数ReLU6函数ELU指数线性单元SELU 阅读全文