摘要： Relu优点： 1、可以使网络训练更快。 相比于sigmoid、tanh，导数更加好求，反向传播就是不断的更新参数的过程，因为其导数不复杂形式简单。 2、增加网络的非线性。 本身为非线性函数，加入到神经网络中可以是网格拟合非线性映射。 3、防止梯度消失。 当数值过大或者过小，sigmoid，tanh 阅读全文