B-概率论-常见的概率分布模型

目录

• 常见的概率分布模型
• 一、离散概率分布函数
• 二、连续概率分布函数
• 三、联合分布函数
• 四、多项分布（Multinomial Distribution）
  • 4.1 多项分布简介
  • 4.2 多项分布公式解析
• 五、伯努利分布（Bernoulli Distribution）
  • 5.1 伯努利分布简介
  • 5.2 伯努利分布的期望值和方差
• 六、正态(高斯)分布（Normal(Gaussian) Distribution）
  • 6.1 正态分布的概率密度函数图像
  • 6.2 正态分布简介
  • 6.3 中心极限定理与正态分布
• 七、泊松分布（Poisson Distribution）
  • 7.1 泊松分布的概率质量函数图像
• 八、二项分布（Binomial Distributio）
  • 8.1 二项分布的概率质量函数图像
  • 8.2 二项分布简介
  • 8.3 二项分布与伯努利分布
• 九、贝塔分布（Beta Distribution）
  • 9.1 贝塔分布的概率密度函数图像
• 十、几何分布(负二项分布)（Geometric Distribution）
  • 10.1 几何分布概率质量函数图像
• 十一、狄利克雷分布(多项分布的共轭分布)（Dirichlet distribution）
• 十二、超几何分布（Hypergeometric Distribution）
• 十三、指数分布（Exponential Distribution）
  • 13.1 指数分布概率密度函数图像

更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/p/11686958.html

常见的概率分布模型

一、离散概率分布函数

离散概率分布也称为概率质量函数（probability mass function），离散概率分布的例子有

伯努利分布（Bernoulli distribution）

二项分布（binomial distribution）

泊松分布（Poisson distribution）

几何分布（geometric distribution）等

二、连续概率分布函数

连续概率分布也称为概率密度函数（probability density function），它们是具有连续取值（例如一条实线上的值）的函数，连续概率分布的例子有

正态分布（normal distribution）

指数分布（exponential distribution）

β分布（beta distribution）等

三、联合分布函数

给定一个随机变量(X,Y)$(X,Y)$，称定义域为整个平面的二元实值函数

F(x,y)=P(X≤x,Y≤y)−∞≥x,y≤∞$$F(x,y)=P(X\le x,Y\le y)-\mathrm{\infty }\ge x,y\le \mathrm{\infty }$$

该二元实值函数为随机变量(X,Y)$(X,Y)$的分布函数，也可以称为是(X,Y)$(X,Y)$的联合分布函数。

按照联合分布函数的定义，F(x,y)=P((X,Y)∈Dxy)$F(x,y)=P((X,Y)\in D_{xy})$，其中Dxy$D_{xy}$如下图所示

四、多项分布（Multinomial Distribution）

4.1 多项分布简介

多项分布是二项分布的推广，他们的区别是二项分布的结果只有0$0$和1$1$两种，多项式的结果可以有多个值。

多项分布的典型例子是掷骰子，6个点对应6个不同的数，每个点的概率都为16$\frac{1}{6}$

与二项分布类似，多项分布来自于(p1+p2+⋯+pk)n多项式的展开$(p_1+p_2+\cdots +p_k{)}^n多项式的展开$

4.2 多项分布公式解析

以掷骰子为例，掷骰子的时候掷1−6$1-6$的概率都为16$\frac{1}{6}$，记作p1−p6$p_1-p_6$，可以发现p1+p2+p3+p4+p5+p6=1$p_1+p_2+p_3+p_4+p_5+p_6=1$，现在把p1+p2+p3+p4+p5+p6$p_1+p_2+p_3+p_4+p_5+p_6$记作做一次抽样各种事件发生的概率和，即可得(p1+p2+p3+p4+p5+p6)n=1n$(p_1+p_2+p_3+p_4+p_5+p_6{)}^n=1^n$为n$n$次抽样所有事件相互组合对应的概率和，之后使用多项式展开(注：使用多项式定理展开，由于多项式定理不在本节提及范围内，不多赘述)，如果它不是掷骰子，而是一个有n$n$种可能的问题，会得到一个多项式展开的公式

P(X1=x1,…,Xk=xk)={n!x1!⋯xk!(px1⋯pxk)when∑ki=1xi=n0otherwise$$P(X_1=x_1,\dots ,X_k=x_k)=\{\begin{array}{l}\frac{n!}{x_1!\cdots x_k!}(p^{x_1}\cdots p^{x_k})when\sum _{i=1}^k{x}_i=n\\ 0otherwise\end{array}$$

这个多项式表示X1$X_1$出现x1$x_1$次，X2$X_2$出现x2$x_2$次，…$\dots$，Xk$X_k$出现xk$x_k$次的出现概率，这样就得到了上述所示的多项分布的多项展开式公式。

五、伯努利分布（Bernoulli Distribution）

5.1 伯努利分布简介

伯努利分布是一个二值离散分布，结果只有0$0$和1$1$两种。

随即变量X$X$为1$1$的概率为p$p$，则为0$0$的概率为q=1−p$q=1-p$，可以用公式表示为

f(x)=px(1−p)1−x={p,x=11−p,x=0$$f(x)=p^x(1-p{)}^{1-x}=\{\begin{array}{l}p,x=1\\ 1-p,x=0\end{array}$$

5.2 伯努利分布的期望值和方差

伯努利分布的期望值为

E(X)=∑i=01xif(x)=1∗p+0∗(1−p)=p+0=p(1)(2)(3)(4)$$\begin{array}{}\text{(1)}& E(X)& =\sum _{i=0}^1{x}_{i}f(x)\text{(2)}& & =1\ast p+0\ast (1-p)\text{(3)}& & =p+0\text{(4)}& & =p\end{array}$$

伯努利分布的方差为

D(x)=∑i=01(xi−E(x))2f(x)=(1−E(x))2∗p+(0−E(x)2∗(1−p)=(1−p)2∗p+(0−p)2∗(1−p)=p−p2=p(1−p)=pq(5)(6)(7)(8)(9)(10)$$\begin{array}{}\text{(5)}& D(x)& =\sum _{i=0}^1(x_i-E(x){)}^{2}f(x)\text{(6)}& & =(1-E(x){)}^2\ast p+(0-E(x{)}^2\ast (1-p)\text{(7)}& & =(1-p{)}^2\ast p+(0-p{)}^2\ast (1-p)\text{(8)}& & =p-p^2\text{(9)}& & =p(1-p)\text{(10)}& & =pq\end{array}$$

六、正态(高斯)分布（Normal(Gaussian) Distribution）

6.1 正态分布的概率密度函数图像

其中红线表示的是标准正态分布图像。

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
%matplotlib inline
mu1 = 0

sig1 = 1

mu2 = 0

sig2 = 2
x = np.arange(-5, 5, 0.1)

y1 = stats.norm.pdf(x, mu1, sig1)

y2 = stats.norm.pdf(x, mu2, sig2)

plt.plot(x, y1, 'r-', label='\(\mu=0,\sigma^2=1\)')

plt.plot(x, y2, 'b-', label='\(\mu=0,\sigma^2=2\)')

plt.legend()

plt.show()

6.2 正态分布简介

正态分布也称作高斯分布，是最常见的一种分布，其概率密度函数为

f(x;μ,σ)=12πσ2−−−−√e(−(x−μ)22σ2)$$f(x;\mu ,\sigma )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{(-\frac{(x-\mu {)}^2}{2{\sigma }^2})}$$

如果一个随即变量X$X$服从该分布，可以写作X N(μ,σ2)N(μ,σ2)$XN(\mu ,{\sigma }^2)N(\mu ,{\sigma }^2)$。

当μ=0,σ=1$\mu =0,\sigma =1$时的正态分布称作标准正态分布，这个分布能简化为

f(x)=12π−−√exp(−x22)$$f(x)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{x^2}{2})$$

标准正态分布曲线区间面积计算

f(|x−μ|<σ)=0.6826f(|x−μ|<2σ)=0.9544f(|x−μ|<3σ)=0.9974$$\begin{gathered} f(|x-\mu |<\sigma )=0.6826 \\ f(|x-\mu |<2\sigma )=0.9544 \\ f(|x-\mu |<3\sigma )=0.9974 \end{gathered}$$

6.3 中心极限定理与正态分布

1. 中心极限定理1：把许多未知的小作用加起来看作一个变量，这个变量服从正态分布
2. 中心极限定理2：“大量统计独立的随即变量的和”的分布趋于正态分布

七、泊松分布（Poisson Distribution）

7.1 泊松分布的概率质量函数图像

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
%matplotlib inline
lambd = 2.5
x = np.arange(0, 10)

y = stats.poisson.pmf(x, lambd)

plt.plot(x, y, label='\(\lambda=2.5\)')

plt.legend()

plt.show()

八、二项分布（Binomial Distributio）

8.1 二项分布的概率质量函数图像

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
%matplotlib inline
n = 8

p = 0.4
x = np.arange(0, 20)

y = stats.binom.pmf(x, n, p)

plt.plot(x, y, 'o-', label='\(n=8,p=0.4\)')

plt.legend()

plt.show()

8.2 二项分布简介

二项分布是n$n$次独立的二值实验(伯努利实验)中成功的次数的离散值概率分布(n$n$次伯努利实验，一次伯努利实验得到一个伯努利分布)。

随机变量X$X$服从参数n$n$和p$p$的二项分布记作：B(n,p)$B(n,p)$。n$n$次实验中k$k$次成功的概率质量函数为

f(k;n,p)=Cknpk(1−p)n−k$$f(k;n,p)=C_n^k{p}^k(1-p{)}^{n-k}$$

其中Ckn$C_n^k$是二项式系数：Ckn=n!k!(n−k)!$C_n^k=\frac{n!}{k!(n-k)!}$

二项分布来源于牛顿二项式

(a+b)n=∑k=0nCknakbn−k$$(a+b{)}^n=\sum _{k=0}^n{C}_n^k{a}^k{b}^{n-k}$$

8.3 二项分布与伯努利分布

1. 二项分布的期望是伯努利分布期望的n$n$倍

E(x)=np$$E(x)=np$$

2. 二项分布的方差是伯努利分布方差的n$n$倍

D(x)=np(1−p)$$D(x)=np(1-p)$$

九、贝塔分布（Beta Distribution）

9.1 贝塔分布的概率密度函数图像

from scipy import stats
import matplotlib.pyplot as plt
import numpy as np
%matplotlib inline
a = 0.4

b = 0.6
x = np.arange(0.01, 1, 0.01)

y = stats.beta.pdf(x, a, b)

plt.plot(x, y, label='a=0.4,b=0.6')

plt.show()

十、几何分布(负二项分布)（Geometric Distribution）

10.1 几何分布概率质量函数图像

十一、狄利克雷分布(多项分布的共轭分布)（Dirichlet distribution）

十二、超几何分布（Hypergeometric Distribution）

十三、指数分布（Exponential Distribution）

13.1 指数分布概率密度函数图像

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
%matplotlib inline
lambd = 0.6
x = np.arange(0, 10, 0.1)

y = lambd * np.exp(-lambd*x)

plt.plot(x, y, label='\(\lambda=0.6\)')

plt.legend()

plt.show()