【初等概率论】 04 - 数字特征

合集 - 随机数学(11)

1.【初等概率论】 01 - 不确定中的确定性2017-02-072.【初等概率论】 02 - 条件概率和随机变量2017-02-073.【初等概率论】 03 - 常见分布和问题举例2017-02-07

4.【初等概率论】 04 - 数字特征2017-02-07

5.【初等概率论】 05 - 极限定理和正态分布2017-02-076.【数理统计基础】 01 - 关于预测的方法学2017-05-227.【数理统计基础】 02 - 统计量和三大分布2017-05-228.【数理统计基础】 03 - 参数估计2017-05-229.【数理统计基础】 04 - 假设检验2017-05-2210.【数理统计基础】 05 - 回归分析2017-05-2211.【数理统计基础】 06 - 相关分析和方差分析2017-05-24

收起

　　随机变量的分布函数包含了它的全部信息，随之我们就需要对随机变量进行一些定量分析，即通过相对简单的数值来度量随机变量的某些特征。有些特征对于随机变量来说比较基本、比较重要，比如平均值、分散程度等，本篇就集中讨论这些特征。

1. 数学期望

1.1 期望的定义

　　随机变量可取到一些实数值，对其最常用的一种度量便是平均值，而每个值上的概率（或概率密度）应当作为权值。具体来说，在离散场合，把式（1）右定义为随机变量$\xi$的“平均值”，它也被称为数学期望。要注意一点，我们希望平均值不受$x_i$顺序的影响，故数学期望的定义还要加上绝对收敛的条件（式（1）左）。

$$\begin{array}{}\text{(1)}& \sum _{i=1}^{\mathrm{\infty }}|x_i|p(x_i)<\mathrm{\infty }\Rightarrow E\xi =\sum _{i=1}^{\mathrm{\infty }}{x}_{i}p(x_i)\end{array}$$

　　对连续场景，密度函数与本质上就是概率分布，故可将式（1）推广成式（2）左。当它绝对收敛时，也被称为$\xi$的数学期望。为了有统一定义，需要引进式（2）右的Stieltjes积分，它的严格定义和统一性证明需要用到实变函数的知识，以下仅借用其形式以避免离散和连续的分类讨论。

$$\begin{array}{}\text{(2)}& E\xi ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xp(x)\text{d}x;E\xi ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x\text{d}{F}_{\xi }(x)\end{array}$$

　　把平均值叫成数学期望其实是有道理的，因为对随机现象来说，它就是理论上的期望值。数学期望是对随机向量最基本的一个度量值，单一的度量值更便于应用，它存在于社会经济的各方面，为经济行为提供了决策的依据。

　　• 已知人群中某疾病的患病率为$p$，请设计一种验血方法，使得验血次数尽量少（可混合验）；

　　• 有无限多的$N$种卡片，求集齐它们平均需要抽多少次？

　　• $n$根绳子放在箱子中，随机将绳头两两相连，求形成圈数的期望值。

1.2 变量函数的期望

　　对随机变量的讨论，总离不开对其函数的分析，这里也照例看看随机变量函数的数学期望。如果理解了数学期望的定义，便知道它其实就是加权平均值，在这里变量函数就是值，而变量的概率还是权值，故函数的期望一定是式（3）所示。当然这只是一个直观解释，严格证明还是需要实变函数的知识。

$$\begin{array}{}\text{(3)}& Eg({\xi }_1,\cdots ,{\xi }_n)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}g(x_1,\cdots ,x_n)\text{d}F(x_1,\cdots ,x_n)\end{array}$$

　　式（3）一般计算起来比较困难，但利用积分运算的特点，在有些常见情况下可以简化运算。首先如果$g(x_1,\cdots ,x_n)=g_1(x_1)\cdots g_n(x_n)$，且${\xi }_1,\cdots ,{\xi }_n$互相独立，则可以把积分分离得到式（4）。另外如果$g(x_1,\cdots ,x_n)=g_1(x_1)+\cdots +g_n(x_n)$，不需要独立性便有式（5）成立。

$$\begin{array}{}\text{(4)}& E[g(x_1,\cdots ,x_n)]=E{g}_1({\xi }_1)E{g}_2({\xi }_2)\cdots E{g}_n({\xi }_n)\end{array}$$

$$\begin{array}{}\text{(5)}& E[g_1({\xi }_1)+\cdots +g_n({\xi }_n)]=E{g}_1({\xi }_1)+\cdots +E{g}_n({\xi }_n)\end{array}$$

　　式（4）的典型特例是式（6）左，其中${\xi }_1,\cdots ,{\xi }_n$互相独立。式（5）的典型特例是线性函数（式（6）右），它不要求独立性，这一点非常有用。比如前面我们已经知道：二项分布是独立的伯努利分布之和，帕斯卡分布是独立的几何分布之和，埃尔朗分布是独立指数分布的和，它们的期望值可以直接求得。

$$\begin{array}{}\text{(6)}& E{\xi }_1{\xi }_2\cdots {\xi }_n=E{\xi }_{1}E{\xi }_2\cdots E{\xi }_n;E(\sum _{i=1}^{\mathrm{\infty }}{a}_i{\xi }_i+b)=\sum _{i=1}^{\mathrm{\infty }}{a}_{i}E{\xi }_i+b\end{array}$$

　　• $M$个产品中有$m$个次品，采用不放回抽样，求次品数的期望；

　　• （报童问题）卖报数服从泊松分布，求每天进多少张收益最大。

2. 方差

2.1 矩和方差

　　数学期望$E\xi$是随机变量的平均值，或者可以称作随机变量的中心$\mu$。上面还提过，数学期望是变量值的加权平均，稍作扩展便可定义式（7）左的$k$阶零点矩。之所以叫零点矩，是因为单个值是随机变量与$0$的偏差的$k$次幂。如果以中心$\mu$为偏差参考，则可以定义式（7）右的$k$阶中心矩。

矩在数学里有多类似的概念，是一个很常规的度量，这里仅作简单的讨论。

$$\begin{array}{}\text{(7)}& m_k=E{\xi }^k;c_k=E(\xi -E\xi {)}^k\end{array}$$

　　和期望一样，矩也要先讨论存在性，由于$|\xi {|}^{k-1}⩽1+|\xi {|}^k$，故有结论：如果$k$阶矩存在，则低于$k$阶的矩都存在。另外，不难按二项式展开$k$阶中心矩，得到式（8）左。然后用反演公式便可得到式（8）右，当然也可以直接计算。

$$\begin{array}{}\text{(8)}& c_k=\sum _{i=0}^k(\genfrac{}{}{0ex}{}{k}{i})(-m_1{)}^{k-i}{m}_i;m_k=\sum _{i=0}^k(\genfrac{}{}{0ex}{}{k}{i})m_1^{k-i}{c}_i\end{array}$$

　　当$k=2$时，中心矩$c_2$可以看成是随机变量对中心偏离程度的一种度量（式（9）），它被称为随机变量的方差。由于矩的良好分析性质，选取$c_2$作为偏离度的度量非常便于处理。为了与随机变量有相同的量纲，也称$\rho =\sqrt{D\xi }$为标准差。

$$\begin{array}{}\text{(9)}& {\rho }^2=D\xi =E(\xi -E\xi {)}^2=E{\xi }^2-(E\xi {)}^2\end{array}$$

　　关于方差和标准差，我有些自己的理解，可能不太准确。下面我们难免会拿线性代数中的向量和随机变量做对比，我想在这里先建立一个直观的联系。向量可以看做是相对原点的一个偏移，标准化向量则是统一了偏移的绝对值而保利了方向信息。随机变量则可以看作是相对期望值的偏移，标准差是统一了偏移的绝对值而保留了分布信息。由此可见，中心矩比零点矩有更实际的意义，对随机变量做中心化处理往往是必须的。

2.2 方差的性质

　　刚才提到方差具有很好的分析性质，这里就举一些简单的例子，并且这些结论以后也是经常用到的。首先有一个简单的不等式（10），它表明中心是与随机变量偏差最小的值，这也很符合“中心”的含义，用中心化的随机变量的$2$阶矩定义方差是明智的。

$$\begin{array}{}\text{(10)}& E(\xi -c{)}^2=E(\xi -E\xi {)}^2+(E\xi -c{)}^2⩾D\xi \end{array}$$

　　方差表示随机变量对中心的偏移程度，这个描述有更具体的佐证吗？还真有！结论表明，方差可以用来估算随机变量在中心周围的分布。具体来看式（11）的推导，其中$\epsilon >0$为任意正数，该式整理后便是著名的切比雪夫不等式（12）。这个不等式对中心某个范围外的随机变量进行了很好的估算，特别地，它还可以直接证明：方差为$0$的随机变量是常数。

$$\begin{array}{}\text{(11)}& D\xi ⩾\underset{|x-E\xi |⩾\epsilon }{\int }{\epsilon }^2\text{d}F(x)={\epsilon }^{2}P(|\xi -E\xi |⩾\epsilon )\end{array}$$

$$\begin{array}{}\text{(12)}& P(|\xi -E\xi |⩾\epsilon )⩽{\displaystyle \frac{D\xi }{{\epsilon }^2}}\end{array}$$

　　最后还是照例看看，随机变量的函数的方差如何计算。方差的计算比期望复杂的多，故函数的方差很难有好的性质，并且目前我们的工具还不够。这里就先讨论最简单的一元一次函数$\eta =k\xi +c$，容易验证有式（13）成立，它表明偏移不影响偏差，而缩放则影响较大，这是符合直觉的。有时候为了研究随机变量分布的本质特点，会将其均值和方差统一成$(0,1)$，式（14）定义的${\xi }^{\ast }$便叫标准化的随机变量。标准变量的切比雪夫不等式有更简单的表达式（15），体会刚才说的“本质特点”。

$$\begin{array}{}\text{(13)}& D(\xi +c)=D(\xi );D(k\xi )=k^{2}D(\xi )\end{array}$$

$$\begin{array}{}\text{(14)}& {\xi }^{\ast }={\displaystyle \frac{\xi -E\xi }{\sqrt{D\xi }}}\Rightarrow E{\xi }^{\ast }=0,D{\xi }^{\ast }=1\end{array}$$

$$\begin{array}{}\text{(15)}& P(|{\xi }^{\ast }|⩾\epsilon )⩽{\displaystyle \frac{1}{{\epsilon }^2}}\end{array}$$

2.3 协方差和相关系数

　　当研究线性函数的方差$D(\xi +\eta )$时，你会发现无法绕开对$E\xi \eta$的讨论，中心化后便是对式（16）的讨论，该式被称为$\xi ,\eta$的协方差。不难发现，它是方差概念的推广，方差好比是向量的一个平方和范数，协方差则好比向量的内积，平方和范数是内积的特例，而方差是协方差的特例。为此，对协方差的研究，完全可以参照对向量内积的研究。标准化的内积表示向量间的线性关系，内积为$0$表示向量正交，内积为$\pm 1$则是共线的。在欧几里得空间中，标准化内积更是直接表示了直线的夹角。

$$\begin{array}{}\text{(16)}& \text{cov}(\xi ,\eta )=E[(\xi -E\xi )(\eta -E\eta )]=E(\xi \eta )-E\xi \cdot E\eta \end{array}$$

　　为此，我们很兴奋地大胆猜测，标准化后的协方差（式（17））一定也是随机向量某种“线性关系”的度量。我们需要对此做进一步的验证，为简单起见，只需讨论中心化后的变量$\xi ,\eta$，而此时$\rho$的表达式中只有$E(\xi \eta )$和$E{\xi }^2\cdot E{\eta }^2$。由形式特点，我们不难想到想用判别式法，即由式（18）得到式（19）。它也被称为柯西不等式，等号成立的充要条件是，存在常数$t_0$使得$\eta =t_0\xi$。注意，柯西不等式本身是不需要$\xi ,\eta$中心化的。

$$\begin{array}{}\text{(17)}& \rho ={\displaystyle \frac{\text{cov}(\xi ,\eta )}{\sqrt{D\xi \cdot D\eta }}},(|\rho |⩽1)\end{array}$$

$$\begin{array}{}\text{(18)}& E(t\xi -\eta {)}^2=t^{2}E{\xi }^2-2tE(\xi \eta )+E{\eta }^2⩾0\end{array}$$

$$\begin{array}{}\text{(19)}& (E\xi \eta {)}^2⩽E{\eta }^2\cdot E{\eta }^2\end{array}$$

　　有柯西不等式立刻能得到$|\rho |⩽1$，并且等号成立时有${\xi }^{\ast }=\pm {\eta }^{\ast }$。这说明把$\rho$作为线性关系的度量是很有合理的，$\rho$因此也被称为随机变量的相关系数。当$\rho =0$时我们称随机变量是不相关的，需要强调的是这里的相关只是线性相关。随机变量$\xi ,\eta$不相关的等价条件是$E\xi \eta =E\xi E\eta$，中心化后便是$E\xi \eta =0$，这和向量直交完全对应！

　　到此为止，我们可以继续研究方差$D(\xi +\eta )$了。首先容易有式（20）成立，该式有时可以用来计算协方差。当$\xi ,\eta$不相关时，有$\text{cov}(\xi ,\eta )=0$，$D(\xi +\eta )$便有了更简单的表达式$D\xi +D\eta$。更一般地，如果${\xi }_1,\cdots ,{\xi }_n$两两不相关，则有式（21）成立。

$$\begin{array}{}\text{(20)}& D(\xi +\eta )=E(\xi +\eta {)}^2=D\xi +D\eta +2\text{cov}(\xi ,\eta )\end{array}$$

$$\begin{array}{}\text{(21)}& D(\sum _{i=1}^n{a}_i{\xi }_i+b)=\sum _{i=1}^n{a}_i^{2}D{\xi }_i+b\end{array}$$

　　由于不相关仅针对线性关系，它是比独立性更弱的条件，也就是说独立的随机变量一定是不相关的，这可以由等价条件$E\xi \eta =E\xi E\eta$直接得出。但反之，不相关的随机变量却也可能是不独立的，举个简单的例子自己体会$\eta ={\xi }^2$。然而对独立同分布随机变量，式（21）必然成立，这个结论可以说明：取多次测量的平均值可以降低误差（式（22））。

$$\begin{array}{}\text{(22)}& D({\displaystyle \frac{1}{n}}\sum _{i=1}^n{\xi }_i)={\displaystyle \frac{{\sigma }^2}{n}}\end{array}$$

　　• 有两只铅笔，同样只测量两次，如何降低误差？

2.4 线性回归

　　现在来考虑一个问题，假定随机变量$\xi ,\eta$存在某个函数关系$\eta =f(\xi )$，但事先只知道它们的联合分布（由试验所得），则如何找到$f(x)$的最佳逼近$g(x)$？何为最佳逼近？有了方差的基本思想后，可知要求$E(\eta -g(\xi ){)}^2$达到最小是比较合理的。类似式（10）的证明，显然应该取$g(x)=E\{\eta |\xi =x\}$，为此随机变量$g(\xi )=E\{\eta |\xi \}$也被称为$\eta$关于$\xi$的回归。容易验证它满足式（23），它被称为重期望公式，可以用来间接计算$E\eta$。

$$\begin{array}{}\text{(23)}& E[E\{\eta |\xi \}]=E\eta \end{array}$$

　　以上回归模型要求能提供条件分布，这对样本点有一定要求，当样本点在每个变量上都比较随机时，则无法使用。但当预估$\xi ,\eta$有代参函数关系$\eta =f(\xi ,c_1,\cdots ,c_n)$时，同样可以通过计算$E[\eta -f{]}^2$的极值而得到参数值。比如假设变量有线性关系$L(x)=ax+b$，为使函数$c(a,b)=E[\eta -(a\xi +b){]}^2$达到最值，可令其偏导数为零，最终便能得到式（24）（请自行计算）。

$$\begin{array}{}\text{(24)}& L(x)=\rho {\displaystyle \frac{{\sigma }_2}{{\sigma }_1}}(x-{\mu }_1)+{\mu }_2\end{array}$$

　　$L(\xi )$称为$\eta$关于$\xi$的线性回归，式中的每个参数都可以由样本点估算得来，对样本点的采集没有特殊的要求。容易算得$\eta -L(\xi )$的方差是${\sigma }_2^2(1-{\rho }^2)$，这再次说明了$\rho$是随机变量线性关系的度量。我们还可以说，$L(\xi )$已经提取了$\eta$关于$\xi$的所有线性关系，即$\eta -L(\xi )$与$\xi$是不相关的（自行验证），该结论被称为均值-方差理论。有没有发现这里有最小二乘法的影子？它们本质是相通的。

3. 特征函数

3.1 母函数

　　虽然分布函数给出了概率分布的统一形式，但很多分布函数并没有良好的分析性质，这也使得它的应用非常受限。我们急需要一种新的函数，它既能完整表达整个概率分布，又具有十分良好的分析性质。对非负离散随机变量，我们不难想到数列的母函数，由概率分布的规范性知，式（25）在$|s|⩽1$上一致且绝对收敛。

$$\begin{array}{}\text{(25)}& P(s)=\sum _{k=0}^{\mathrm{\infty }}{p}_k{s}^k=E{s}^{\xi }\end{array}$$

　　母函数有着非常好的分析性质，尤其一些常见分布的母函数也很简洁，这为处理问题提供了方便，甚至可以用母函数取代概率分布。一个很有用的结论是式（26），利用它们可以方便地计算期望和方差。

$\xi$	$b(k;n,p)$	$g(k;p)$	$b(k;\lambda )$
$P(s)$	$(ps+q{)}^n$	${\displaystyle \frac{ps}{1-qs}}$	$e^{\lambda (s-1)}$

$$\begin{array}{}\text{(26)}& E\xi =P^{\prime }(1);D\xi =P^{″}(1)+P^{\prime }(1)-[P^{\prime }(1){]}^2\end{array}$$

　　按照惯例，引入一个新特征，总要考察一下变量函数的特征。在这里不难证明，对独立随机变量$\xi ,\eta$，设它们的母函数为$A(s),B(s)$，则$\xi +\eta$的母函数为$A(s)B(s)$。特别地，$n$个独立同分布随机变量和的母函数是$P^n(s)$，这对我们在“常见分布”那篇中提到的分布很有用。

　　最后再来看个问题，对于独立同步变量${\xi }_i$，计算$\zeta ={\xi }_1+{\xi }_2+\cdots +{\xi }_{\eta }$，其中$\eta$也是随机变量。设${\xi }_i,\eta$相互独立且母函数分别为$F(s),G(s)$。不难证明（从略），$\zeta$的母函数为$G[F(s)]$，并进而求得$E\zeta =E\xi \cdot E\eta$。

　　• 掷5颗筛子，求和为$15$的概率；

　　• 蚕的产卵数服从泊松分布，每个卵成虫律为$p$，求成虫数的分布。

3.2 特征函数

　　母函数虽然好用，但它只能运用在离散随机变量，对于连续随机变量或更一般的情况，有没有类似的工具呢？如果你学过傅里叶分析，应当知道傅里叶变换就是母函数思想的升级版本，为此我们把式（27）称为随机变量$\xi$的特征函数。对离散情况它就是母函数$P(e^{it})$，连续情况则是密度函数的傅里叶变换形式。关于傅里叶变换，我目前还知之甚少，故不多做阐述。

$$\begin{array}{}\text{(27)}& f_{\xi }(t)=E{e}^{it\xi }={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{itx}\text{d}{F}_{\xi }(x)\end{array}$$

　　和母函数一样，对独立随机变量${\xi }_i$，它们和的特征函数满足式（28）。离散变量的特征函数可以直接由母函数修改得到，这里仅列出指数分布的特征函数（式（29）），埃尔朗分布的特征函数自然也就出来了。

$$\begin{array}{}\text{(28)}& f_{{\xi }_1+{\xi }_2+\cdots +{\xi }_n}(t)=f_{{\xi }_1}(t)f_{{\xi }_2}(t)\cdots f_{{\xi }_n}(t)\end{array}$$

$$\begin{array}{}\text{(29)}& \xi \sim \lambda e^{-\lambda x}\Rightarrow f_{\xi }(x)={(1-{\displaystyle \frac{it}{\lambda }})}^{-1}\end{array}$$

　　仔细观察式（28），特征函数中的幂函数将加法变成乘法，但很多变量的特征函数仍保持着幂函数成分，乘法此时还能变成加法。具体来说，如果含参分布$F(k)$的特征函数有形式$X^k$，那么对于独立同分布${\xi }_1,{\xi }_2$有式（30）成立，它被称为特征函数的再生性。满足这个特点的分布函数比较多，比如二项分布、帕斯卡分布、泊松分布、埃尔朗分布等。

$$\begin{array}{}\text{(30)}& \xi \sim F(x;k),f_{\xi }=X^k\Rightarrow ({\xi }_1+{\xi }_2)\sim F(x;k_1+k_2)\end{array}$$

　　对于随机向量$\overrightarrow{\xi }=({\xi }_1,\cdots ,{\xi }_n)$，同样可以定义特征函数（31）。由这个式子不难得到，随即向量子空间的特征函数是将其它维的$t_i$取$0$得到，比如$({\xi }_1,\cdots ,{\xi }_m)$的特征函数为$f(t_1,\cdots ,t_m,0,\cdots ,0)$。还可以知道，${\xi }_i$相互独立的充要条件是$f(t_1,\cdots ,t_n)=\prod f_{{\xi }_i}(t_i)$。

$$\begin{array}{}\text{(31)}& f_{\overrightarrow{\xi }}(t_1,\cdots ,t_n)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{i(t_1{x}_1+\cdots +t_n{x}_n)}\text{d}{F}_{\overrightarrow{\xi }}(\overrightarrow{x})\end{array}$$

　　随机变量还有一个非常重要的度量方法，就是考察其“不确定性”的程度、或者包含的“信息量”。可想而知，这个量与期望、方差都没有关系，它只关乎“随机程度”。这个概念叫“熵”，它是一个非常有趣且丰富的课题，属于概率论的一个应用分支。缺少“熵”的概念并不影响概率论本身，故这里不作介绍，以后会在《信息论》中展开讨论。