tf.nn.leaky_relu

**计算Leaky ReLU激活函数
tf.nn.leaky_relu(
features,
alpha=0.2,
name=None )
参数： features:一个Tensor,表示预激活
alpha:x<0时激活函数的斜率
ame:操作的名称（可选）
返回值：激活值
**

非饱和激活函数：Leaky ReLU的图像

数学表达式： y = max(0, x) + leak*min(0,x)
优点：
1.能解决深度神经网络（层数非常多）的“梯度消失”问题，浅层神经网络（三五层那种）才用sigmoid 作为激活函数。
2.它能加快收敛速度。
————————————————
版权声明：本文为CSDN博主「qq_41621342」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_41621342/article/details/105262875