Yolov5 激活函数SiLU

1、Yolov5-v6.0中使用的激活函数是SiLU。

2、SiLU（Sigmoid Linear Unit）激活函数也被称为 Swish 激活函数，它是 Google Brain 在 2017 年引入的一种自适应激活函数。

3、SiLU激活函数介绍：参考链接

Swish 函数的定义如下：

  f(x) = x * sigmoid(x)

其中 sigmoid(x) 是标准的 sigmoid 函数，它的值在 0 和 1 之间。Swish 函数的特性包括非线性，连续可导，并且在负无穷到正无穷的范围内都有定义。

Swish 函数在实践中已经证明了其有效性，特别是在深度神经网络中。它既有 ReLU（Rectified Linear Unit）激活函数的一些优点（例如，能够缓解梯度消失问题），又能解决 ReLU 函数的一些缺点（例如，ReLU 函数不是零中心的，且在负数部分的梯度为零）。此外，Swish 函数还是平滑函数，这意味着它在整个定义域内都有导数，这有利于优化。

(1) SiLU激活函数详细描述：参考链接

• SiLU激活函数图像如下，相对于ReLU激活函数，它在x轴的负半轴有段向下的曲线：
• 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
• 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
• SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
• SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重。