1 概念

如果我们想知道某个随机变量\(X\)的分布\(F\)，这在一般情况下当然是无法准确知道的，但如果我们手上有它的一些独立同分布的样本，可不可以利用这些样本？一个很简单的办法就是，把这些样本的“频率”近似为随机变量的“概率”。

经验分布函数（empirical distribution function）：给每个点\(1/n\)的概率质量，得到CDF：

\[\hat{F}_n(x) = \dfrac{\sum_{i=1}^{n}I(X_i\leq x)}{n} \]

2 性质

经验分布函数，有什么性质？它可以很好地近似真实的分布函数吗？我们给出如下几个定理。

定理：对于任意给定的\(x\)，有

  • \(E(\hat{F}_n(x) )=F(x)\)；
  • \(V(\hat{F}_n(x) )=\dfrac{F(x)(1-F(x))}{n}\to 0\)；
  • \(\text{MSE} = \dfrac{F(x)(1-F(x))}{n}\to 0\)；
  • \(\hat{F}_n(x)\stackrel{P}{\longrightarrow}F(x)\)。

Glivenko-Cantelli定理：\(X_1,\ldots,X_n\sim F\)，那么

\[\sup_x |\hat{F}_n(x)-F(x)|\stackrel{P}{\longrightarrow}0 \]

更准确地说，上式其实是几乎必然收敛的。

Dvoretzky-Kiefer-Wolfowitz (DKW) Inequity：\(X_1,\ldots,X_n\sim F\)，那么\(\forall \epsilon\gt 0\)，有

\[P\left(\sup_x |\hat{F}_n(x)-F(x)|\gt \epsilon\right) \leq 2e^{-2n\epsilon^2} \]

利用DKW不等式，可以构造出\(F\)的非参数的\(1-\alpha\)置信带：定义\(L(x)=\max\left\{\hat{F}_n(x)-\epsilon_n,0\right\}\)，\(U(x)=\max\left\{\hat{F}_n(x)+\epsilon_n,0\right\}\)，其中\(\epsilon_n=\sqrt{\dfrac{1}{2n}\log(\dfrac{2}{\alpha})}\)，那么有

\[P[L(x)\leq F(x)\leq U(x),\forall x] \geq 1-\alpha \]

3 应用

经验分布函数有什么用？它可以用来计算一些statistical functional（统计泛函）。

假设要计算的statistical functional为\(T(F)\)，那么，可以利用经验分布函数，代替未知的分布函数，计算出\(\theta=T(F)\)的plug-in estimator（嵌入式估计量）：\(\hat\theta=T(\hat{F}_n)\)。

如果存在某个\(r(x)\)使得\(T(F)=\int r(x) dF(x)\)，那么\(T\)就称为linear functional（线性泛函），这是因为这样的\(T\)必定满足\(T(aF+bG)=aT(F)+bT(G)\)。对于这样的linear functional \(T(F)\)，它的plug-in estimator可以写为：

\[T(\hat{F}_n)=\int r(x)d \hat{F}_n=\dfrac{1}{n}\sum_{i=1}^{n}r(X_i) \]