SILU函数
该激活函数的公式如下:
f(x)=x*sigmoid(x)
具体实现代码如下:
` class SiLU(Layer):
def __init__(self, **kwargs):
super(SiLU, self).__init__(**kwargs)
self.supports_masking = True
def call(self, inputs):
return inputs * K.sigmoid(inputs)
def get_config(self):
config = super(SiLU, self).get_config()
return config
def compute_output_shape(self, input_shape):
return input_shape `
函数具体形状如下: