摘要：
1. logistic sigmoid 函数 logistic sigmoid 函数通常用来产生 Bernoulli 分布中的参数 ϕ，因为它的范围是(0,1)，处在 ϕ 的有效取值范围内 sigmoid 函数在变量取绝对值非常大的正值或负值时会出现饱和（saturate）现象，意味着函数会变得很平 阅读全文
摘要：
1.Bernoulli 分布（Bernoulli distribution） 单个二值随机变量的分布 它由单个参数 ϕ ∈ [0,1] 控制，ϕ 给出了随机变量等于 1 的概率 2.Multinoulli 分布 具有k个不同状态的单个离散随机变量上的分布 经常用来表示对象分类的分布 3.高斯分布 也 阅读全文
摘要：
1.期望 当 x 由 P 产生，f 作用于 x 时，f(x) 的平均值 离散型随机变量，这可以通过求和得到： 连续型随机变量可以通过求积分得到： 性质： 其中 α 和 β 不依赖于 x 2.方差 衡量的是当我们对 x 依据它的概率分布进行采样时，随机变量 x 的函数值会呈现多大的差异 当方差很小时， 阅读全文