tf.keras模型——activations激活函数

 Module: tf.keras.activations

　　activations类保存了各种激活函数

　　activations类的方法：

　　　　elu(): 指数线性单位；

　　　　exponential(): 指数激活函数；

　　　　get()

　　　　hard_sigmoid(): Hard sigmoid 激活函数；

　　　　linear(): 线性激活函数；

　　　　relu(): relu激活函数；

　　　　selu(): SELU激活函数；

　　　　serialize()

　　　　sigmoid(): Sigmoid 激活函数；

　　　　softmax(): softmax 激活函数；

　　　　softplus(): Softplus 激活函数。

　　　　softsign()：

　　　　tanh()：

tf.keras.activations.deserialize(
    name,
    custom_objects=None
)

tf.keras.activations.elu(
    x,
    alpha=1.0
)
参数：
    x: Input tensor.
    alpha: 一个标量，负截面的斜率.
备注：
　　if x>0:
　　　　x
　　else:
       alpha*(exp(x)-1)

tf.keras.activations.exponential(x)

tf.keras.activations.get(identifier)

tf.keras.activations.hard_sigmoid(x)
备注：
　　if x<-2.5:
　　　　0
　　elif x>2.5:
　　　　1
　　else:
　　　　-0.2*x + 0.5

tf.keras.activations.linear(x)

tf.keras.activations.relu(
    x,
    alpha=0.0,
    max_value=None,
    threshold=0
)
参数：
　　x: 变量、张量；
　　alpha: 一个标量，负截面的坡度（默认值为0）；
　　max_value: 浮点值，饱和阈值；
　　threshold：阈值激活的阈值，浮点值。

tf.keras.activations.selu(x)
备注：调用方法

　　n_classes = 10 #10_class problem
　　model = models.Sequential()
　　model.add(Dense(64, kernel_initializer='lecun_normal', activation='selu',
　　input_shape=(28, 28, 1))))
　　model.add(Dense(32, kernel_initializer='lecun_normal', activation='selu'))
　　model.add(Dense(16, kernel_initializer='lecun_normal', activation='selu'))
　　model.add(Dense(n_classes, activation='softmax'))

tf.keras.activations.serialize(activation)

tf.keras.activations.sigmoid(x)
备注：
　　(1.0 / (1.0 + exp(-x)))

tf.keras.activations.softmax(
    x,
    axis=-1
)
参数：
    x：输入张量；
    axis: 应用SoftMax规范化的轴，整数。

1 tf.keras.activations.softplus(x)
备注：
　　log(exp(x) + 1)

tf.keras.activations.softsign(x)
备注：
　　x / (abs(x) + 1)

tf.keras.activations.tanh(x)
备注：
　　tanh(x) = sinh(x)/cosh(x) = ((exp(x) - exp(-x))/(exp(x) + exp(-x)))