【概率论】随机变量

随机变量

定义

一般地，随机变量是从 $\Omega$​（样本空间）到实数域上的函数。

累积分布函数

$F(x) = P(X\leq x),x\in(-∞,∞)$

离散随机变量

是只取有限值或至多可列无限值的随机变量。

一般地，能与整数集形成一一对应的集合就是可列无限集。

伯努利随机变量

频率函数为：

$$p(1) = p\\ p(0) = 1-p\\ p(x) = 0(x\neq0,1)$$

二项分布

假设进行 $n$ 次独立实验，每次实验成功的概率为 $p$，失败的概率为 $1-p$，那么成功的次数 $X$ 参数为 $n,p$ 的二项随机变量。

$p(k) = C_n^k p^k(1-p)^{n-k}$

泊松分布

泊松分布多出现在当 $X$ 表示在一定的时间或空间内出现的事件个数这种场合。

当 $n$ 较大，$p$ 较小时，泊松频率函数可以用来近似二项概率。

参数为 $\lambda$ 的泊松频率函数为：

$p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}$​

推导

考察时间段 $[0, 1)$ 事件 $A$ 发生的次数 $X$。

我们将时间段均匀划分为 $n$ 段，并假定对于每个时间段，事件 $A$ 恰好发生一次的概率与 $1/n$ 成正比，设 $p = \lambda/n$。

因为 $p$ 是很小的，所以我们可以将长度为 $1/n$ 的时间段发生事件 $A$ 次数大于 $1$ 的概率看作是 $0$。

那么 $X$​​​ 显然是服从参数为 $(n, p)$​​​ 的二项分布的（记为 $X\sim B(n, p)$​​​​​），因此有

$p(k) = C_n^k (\frac{\lambda}{n})^k(1-\frac{\lambda}{n})^{n-k}$

当 $n\to ∞$ 时，

$\frac{C_n^k}{n^k} = \frac{1}{k!} \\ (1-\frac{\lambda}{n})^{n-k} = e^{-\lambda}$

故 $p(k) = \frac{\lambda ^ k}{k!}e^{-\lambda}$​。

连续随机变量

密度函数

对于连续随机变量，频率函数被密度函数 $f(x)$​ 取代，密度函数具有性质：

$f(x) \geq 0 \\ \int_{-∞}^∞ f(x)dx = 1$​

如果 $X$ 是具有密度函数 $f$ 的随机变量，那么它落在 $(a, b)$ 的概率为：

$P(a<x<b) = \int_a^bf(x)dx$

均匀密度

一般地，区间 $[a, b]$ 的均匀密度是：

$$f(x) = \begin{cases} \frac{1}{a-b} & x\in [a, b]\\ 0 & 其它 \end{cases}$$

指数密度

指数分布常用来刻画生命周期或等待时间。

密度函数为：

$$f(x) = \begin{cases} \lambda e^{-\lambda x} & x\geq 0\\ 0 & x<0 \end{cases}$$

分布函数为：

$$F(x) = \begin{cases} 1-e^{-\lambda x} & x\geq 0\\ 0 & x<0 \end{cases}$$

推导

假定事件 $A$ 是无记忆性的，以无记忆性的元件寿命为例，这意味着从 $0$ 时刻开始至少存活到到 $t$​ 时刻的概率等于 $s$ 时刻开始至少存活至 $s+t$ 时刻的概率是相等的。

有了这个假定，我们从 $0$ 时刻开始考察，假设事件 $A$ 未发生，时刻 $\Delta T$ 发生的概率为 $p = \lambda \Delta T$。

记事件 $A$ 在时刻 $x$ 发生的概率密度为 $f(x)$，那么事件 $A$ 在时刻 $x$ 发生（之前不发生）的概率为：

$f(x)\Delta T = (1-p)^{x/\Delta T -1}p$

因此 $f(x) = \lim_{\Delta T\to 0}(1-\lambda\Delta T)^{x/\Delta T-1}\lambda = \lambda e^{-\lambda x}$

正态分布

$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},~x\in(-\infty, +\infty),\mu \in(-\infty,+\infty),~\sigma\in(0,+\infty)$

$\mu$ 称为均值，$\sigma$​ 称为标准差。​

推导很复杂的样子 qwq，待补。

随机变量的函数

$X$ 为具有密度为 $f_X(x)$ 的随机变量，随机变量 $Y=g(X)$（其中 $g$ 可微并在区间 $I$ 上单调），那么 $f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|$

推导

不妨设 $g$ 单调递增。

$F_Y(y) = P(Y\leq y) = P(g(X)\leq y) = P(X\leq g^{-1}(y)) = F_X(g^{-1}(y))$，对 $y$ 求导即得：

$f_Y(y) = f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}$

$g$ 单调递减的情况完全类似，有 $f_Y(y) = -f_X(g^{-1}(y)) \frac{dg^{-1}(y)}{dy}$

故我们统一写成 $f_Y(y) = f_X(g^{-1}(y))|\frac{dg^{-1}(y)}{dy}|$。