概率分布

1、伯努利分布

      对于二元随机变量x∈{0, 1}，即x的取值要么是0，要么是1。假设x描述的是扔一枚损坏的硬币的结果（即正反面朝上的概率不一定相等），x=1表示正面朝上，概率为参数μ，即p(x=1 | μ) = μ，其中0≤μ≤1。显然，p(x=0 | μ) = 1-μ。因此，随机变量x关于参数μ的概率分布可以写成如下表达式，也叫伯努利分布（Bernoulli distribution），或者两点分布、01分布：

p(x | μ) = Bern(x | μ) = μ^x(1-μ)^1-x

      进一步有，x的均值，也叫期望：

E[x] = ∑p(x)x

                                  = μ⁰(1-μ)¹ * 0 + μ¹(1-μ)⁰ * 1

= μ

      x的方差（差的平方的和的均值），需要注意的是E[x²] ≠ (E[x])²：

var[x] = E[(x-E[x])²]

                         = E[x² - 2xE[x] + (E[x])²]

                = E[x² - 2xμ + μ²]

                     = E[x²] - 2E[x]μ + μ² 

         = E[x²] - μ² 

           = ∑p(x)x² - μ²

   = μ - μ²

   = μ(1-μ)

 

2、二项分布 

独立

3、Beta分布

4、高斯分布

狄利克雷分布， 多项式分布，先验分布，共轭先验