Swish激活函数之SiLU

SiLU（Swish）（YOLOv5 6.0之后）

β = 1就是SiLU

 

 

优点：ReLU有无上界和有下界的特点，而Swish相比ReLU又增加了平滑和非单调的特点，这使得其在ImageNet上的效果更好。

缺点：引入了指数函数，增加了计算量.