ML-DL相关问题收集

激活函数

非线性激活函数（ Activation Function） - 知乎 (zhihu.com)

引入激活函数是为了增加神经网络模型的非线性。

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

梯度消失问题