ReLU

一、ReLU（Rectified Linear Activation Function）

ReLU是一个分段函数，当输入小于零的时候，输出为零，当输入大于零的时候，将输入值作为输出。

二、ReLU实现

def rectified(x):
  return max(0.0, x)

三、ReLU优点

（一）计算简单性

ReLU只需要max()，因此计算上更简单，计算成本也更低 。

（二）代表性稀疏

ReLU的一个重要好处是，它能够输出一个真正的零值 。这与 tanh 和 sigmoid 激活函数不同，后者学习近似于零输出，例如一个非常接近于零的值，但不是真正的零值。这意味着负输入可以输出真零值，允许神经网络中的隐层激活包含一个或多个真零值。这就是所谓的稀疏表示，是一个理想的性质，在表示学习，因为它可以加速学习和简化模型。

（三）线性行为

ReLU看起来更像一个线性函数，一般来说，当神经网络的行为是线性或接近线性时，它更容易优化 。

这个特性的关键在于，使用这个激活函数进行训练的网络几乎完全避免了梯度消失的问题，因为梯度仍然与节点激活成正比。

（四）训练深度网络

ReLU的出现使得利用硬件的提升和使用反向传播成功训练具有非线性激活函数的深层多层网络成为可能 。