常用函数

1. logistic sigmoid 函数

　　

　　logistic sigmoid 函数通常用来产生 Bernoulli 分布中的参数 ϕ，因为它的范围是(0,1)，处在 ϕ 的有效取值范围内

　　sigmoid 函数在变量取绝对值非常大的正值或负值时会出现饱和（saturate）现象，意味着函数会变得很平，并且对输入的微小改变会变得不敏感

2.softplus 函数（softplus function）

　　

　　softplus 函数可以用来产生正态分布的 β 和 σ 参数，因为它的范围是 (0,∞)比x + = max(0,x)平滑