softplus 平滑版relu学习

1.tf.nn.softplus 

 https://blog.csdn.net/ai_lx/article/details/88953587

import tensorflow as tf

a = tf.constant([-1.0, 12.0])
with tf.Session() as sess:
    b = tf.nn.softplus(a)
    print(sess.run(b))

#输出
[ 0.31326166 12.000006  ]

就是soft plus。#不是softmax，不是归一化。

公式是：log( exp( features ) + 1)，所输入的a就是features。

2.性质

https://blog.csdn.net/bqw18744018044/article/details/81193241