点估计及矩估计的一些理解

点估计指的是用样本统计量来估计总体参数，因为样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示，所以称为点估计。在这个定义中，总体参数也即是总体分布的参数，一般我们在讨论总体分布的时候，只有在简单随机样本（样本独立同分布）情况下才有明确的意义，总体分布才能决定样本分布,所以下文样本中各随机变量均为独立同分布。在大数据中分析中，一般都假设样本是独立同分布的。

矩估计方法是点估计中的一种，其原理就是构造样本和总体的矩，然后用样本的矩去估计总体的矩。设有样本 $X_{1},...,X_{n},$ 而k为自然数，则样本矩做如下定义

$a_{nk}=\frac{1}{n}\sum_{i=1}^{n}X^{k}_{i}$

$m_{nk}=\frac{1}{n}\sum_{i=1}^{n}(X_{i}-\bar{X}_{n})^{k}$

其中 $a_{nk}$ 称为k阶样本原点矩， $m_{nk}$ 称为k阶样本中心距， $\bar{X}_{n}$ 为样本均值。 $a_{nk}$ 和 $m_{nk}$ 可以由样本计算得到确定的值。接下来再构造总体 $X$ 的矩。在使用矩估计方法时，一般要求知道总体的分布类型，这样才能构造包含待估参数的矩。

当总体为连续分布时，设 $f(x,\theta )$ 为总体分布的概率密度函数， $\theta$ 为总体分布中的待估参数（假设此处总体分布中只有一个待估参数 $\theta$ ），则总体的k阶原点矩 $\alpha _{k}$ 、k阶中心距 $\mu_{k}$ 分别定义为如下形式

$\alpha _{k}=\int_{-\infty }^{+\infty}x^{k}f(x,\theta )dx$

$\mu _{k}=\int_{-\infty }^{+\infty}(x-E(X))^{k}f(x,\theta )dx$

当总体为离散分布时，设 $P(X=X_{i},\theta )$ 是 $X=X_{i}$ 时的概率，则总体的k阶原点矩 $\alpha _{k}$ 、k阶中心距 $\mu_{k}$ 分别定义为如下形式

$\alpha _{k}=E(X^{k})=\sum_{i=1}^{n}X_{i}^{k}P(X=X_{i},\theta )$

$\mu _{k}=E(X-E(X))^{k}=\sum_{i=1}^{n}(X_{i}-E(X))^{k}P(X=X_{i},\theta )$

在用样本矩估计总体矩时，我们还需要知道样本矩对总体矩而言是无偏估计，还是非无偏估计，这样有助于我们把握估计偏差，下面以样本一阶原点矩 $a _{n1}$ 、二阶中心矩 $m _{n2}$ 为例来估计总体的一阶原点矩 $\alpha _{1}$ 和 $\mu_{2}$ ，观察它们是否为无偏估计

$E(a_{n1})=\frac{1}{n}E(\sum_{i=1}^{n}X_{i})=\frac{1}{n}\sum_{i=1}^{n}E(X) =\alpha _{1}$

可以看到，样本一阶原点矩 $a _{n1}$ 为总体的一阶原点矩 $\alpha _{1}$ 的无偏估计，再看二阶中心矩的估计

$E(m_{k2})=\frac{1}{n}E(\sum_{i=1}^{n}(X_{i}-\bar{X_{n}})^{2}) =\frac{1}{n}E(\sum_{i=1}^{n}(X^{2}_{i}-2X_{i}\bar{X_{n}}+\bar{X_{n}^{2}}))$

$=\frac{1}{n}\sum_{i=1}^{n}E(X_{i}^{2})-\frac{2}{n}\bar{X_{n}}E(\sum_{i=1}^{n}X_{i})+E(\bar{X_{n}^{2}})$

$=\frac{1}{n}\sum_{i=1}^{n}E(X_{i}^{2})-E(\bar{X_{n}^{2}})$

下面分别就 $E(X_{i}^{2})$ 项和 $E(\bar{X_{n}^{2}})$ 项进行计算

$\mu _{2}=\sum _{i=1}^{n}(X_{i}-E(X))^{2}P(X=X_{i},\theta )$

$=\sum _{i=1}^{n}(X_{i}^{2}-2X_{i}E(X)-E^{2}(X))P(X=X_{i},\theta )$ $=\sum _{i=1}^{n}X_{i}^{2}P(X=X_{i},\theta )-2E(X)\sum _{i=1}^{n}X_{i}P(X=X_{i},\theta )-E^{2}(X)\sum _{i=1}^{n}P(X=X_{i},\theta )$