概率论与数理统计基本概念

📚 Takeaways#

需要建立起来的认识#

• $$D(X)=0\to P(X=\text{const})=1$$

  概率为1并不代表是必然事件，概率为0不代表是不可能事件

• 伯努利大数定律（独立重复试验）是频率近似概率的基础

• 中心极限定理刻画了样本和总体的关系

• 后验概率小于先验概率

Axioms#

• $$0\le P\le 1$$

• $$P(S)=1$$

  s denotes sample space

• when exclusive

$$P(\bigcup E_i)=\sum P(E_i)$$

普适规律#

• Bayesian Rule

$$P(A|B)=P(B|A)\cdot \frac{P(B)}{P(A)}=P(A)\cdot \frac{P(B|A)}{P(B)}<=P(A)$$

• Inclusion-exclusion principle 容斥原理

  

• Conditional Probability

$$P(A|B)=\frac{P(AB)}{P(B)}$$

后验概率 P(p|data)#

一枚硬币，扔了一亿次都是正面朝上，再扔一次反面朝上的概率是多少？

The data is just the result of observation.

What exactly does it tell us

It depends on our assumption

随机事件和概率#

常见概型#

分配问题 / 隔板法

普适公式#

1. 逆概率

2. 加法（容斥原理）

3. 减法

4. 全概率公式

5. 贝叶斯公式

条件概率#

随机变量的函数#

随机变量的可加性#

例题

事件的独立性#

不可能事件与任何事件既独立又互斥！

独立随机变量的最大值 / 最小值的概率#

随机变量的数字特征#

期望 方差 标准差#

方差和期望的关系#

$$D(X)=E(X-E(X){)}^2=E(X^2)-E^2(X)$$

协方差#

切比雪夫不等式#

$$P(|X-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{{\epsilon }^2}$$

随机变量的拆分#

一维分布#

总结#

常见概率分布的直觉与联系 - 论智的文章 - 知乎
https://zhuanlan.zhihu.com/p/47609519

二项分布/泊松分布#

二项分布和二项式展开 / 组合数有直接联系

二项分布的期望的物理意义#

成功次数 = λ

$$\begin{gathered} p=\frac{\lambda }{n} \\ \lambda =\frac{1}{\mu }=np=E(B(n)) \end{gathered}$$

知乎：泊松分布的极限理解

几何分布/指数分布#

• 无后效性

• 几何分布

$$P(n=k)=p(1-p{)}^k$$

• 指数分布

$$p(t=x)=\lambda e^{-\lambda x}$$

• 指数分布是几何分布的连续化

$$\begin{gathered} \lambda =np \\ p=\frac{\lambda }{n} \end{gathered}$$

当进行极多次独立重复试验之后

$$p(x)=\underset{n\to \mathrm{\infty }}{lim}p(1-p{)}^x$$

没有出现n，替换一下

$$\begin{gathered} p(x=\frac{k}{n})=\underset{n\to \mathrm{\infty }}{lim}p(1-p{)}^x=\underset{n\to \mathrm{\infty }}{lim}\frac{\lambda }{n}(1-\frac{\lambda }{n}{)}^x \\ =\underset{n\to \mathrm{\infty }}{lim}\frac{\lambda }{n}[(1-\frac{\lambda }{n}{)}^{n\cdot \frac{k}{n}}]=\underset{n\to \mathrm{\infty }}{lim}\frac{\lambda }{n}[(1-\frac{\lambda }{n}{)}^{n\cdot x}]=\underset{n\to \mathrm{\infty }}{lim}\frac{\lambda }{n}[n\cdot e^{-\lambda \cdot x}]=\lambda e^{-\lambda x} \end{gathered}$$

刻画随机事件两次发生时间间隔

无记忆性的分布一定是指数分布 / 几何分布

几何分布 / 超几何分布 的意义#

• 几何分布：
• 超几何分布：不放回抽样

正态分布#

大数定律&中心极限定理#

依概率收敛

大数定律#

辛钦——独立同分布 & 存在期望#

$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }E(X)$$

切比雪夫——独立&方差存在一致有上界#

$$\frac{1}{n}\sum _{i=1}^n{X}_i\stackrel{P}{\to }\frac{1}{n}\sum _{i=1}^{n}E(X_i)$$

伯努利大数定律：频率代替概率

伯努利试验：独立重复试验

ξ指示试验是否成功

$$\frac{1}{n}\sum {\xi }_i\stackrel{P}{\to }\mu$$

列维-林德伯格中心极限定理——独立同分布&均值方差存在#

$$\frac{1}{n}\sum _{i=1}^n{X}_i\sim N(\mu ,{\sigma }^2)$$

棣莫弗-拉普拉斯定理——二项分布渐进正态分布#

$$\begin{gathered} Y_n\sim B(n,p) \\ \underset{n\to \mathrm{\infty }}{lim}{Y}_n\sim N(np,\sqrt{np(1-p)}) \end{gathered}$$

---

数理统计#

总体和样本#

统计量的均值和方差#

$$\begin{gathered} E(X_i)=\mu \\ D(X_i)={\sigma }^2 \\ E(\bar{X})=E(X)=\mu \\ D(\bar{X})=\frac{{\sigma }^2}{n} \\ E(S^2)={\sigma }^2 \end{gathered}$$

假设检验#

在不能穷举的情况下，不能靠举例子来证明一个命题是正确的，但是可以靠举出一个反例来证明一个命题是错误的。

• 显著性水平

  $$\alpha =1-p$$

• 置信区间