SILU函数

该激活函数的公式如下:
f(x)=x*sigmoid(x)
具体实现代码如下:

` class SiLU(Layer):
   def __init__(self, **kwargs):
       super(SiLU, self).__init__(**kwargs)
       self.supports_masking = True

   def call(self, inputs):
       return inputs * K.sigmoid(inputs)

   def get_config(self):
       config = super(SiLU, self).get_config()
       return config

   def compute_output_shape(self, input_shape):
       return input_shape `

函数具体形状如下:

posted @ 2022-05-23 15:34  vegetable_chick  阅读(3306)  评论(0编辑  收藏  举报