核密度估计

核函数估计

参考这里

• Kernel Density Estimation, KDE

• 这个东西的目的在于使用离散的样本估计概率密度函数。

• 公式推导：

  \[\begin{aligned} &1:\quad f(x)=\lim\limits_{h\to0}\frac{F(x+h)-F(x-h)}{2h}\\ &2:\quad\Rightarrow \hat{f}_h(x)=\frac{1}{2nh}\sum\limits_{i=1}^n1(x-h\le x_i\le x+h)\\ &3:\quad\quad=\frac{1}{nh}\sum\limits_{i=1}^n\frac{1}{2}1(\frac{|x-x_i|}{h}\le1)\\ &4:\quad\quad=\frac{1}{nh}\sum\limits_{i=1}^nK_0(\frac{x-x_i}{h}) \end{aligned} \]

  第1行来自于概率密度函数的定义，\(F(x)\)是概率分布函数；第2行是在仅有采样数据时对定义的近似，从定义出发看\(h\)越小越好，但\(h\)太小可能会使得区间内没有足够的点用于计算概率密度；第4行中的\(K_0\)在此处的推导中为\(K_0(t)=\frac{1}{2}1(|t|\le1)\)。这个函数不光滑，于是就想到把它替换掉，同时将其扩展到\(d\)维得情形，可以得到一般的形式：

  \[\hat f(x)=\frac{1}{nh^d}\sum\limits_{i=1}^nK(\frac{x-x_i}{h}) \]

  替换的函数需要满足：

  \[\begin{aligned} \int \hat{f}_h(x)=1&=\int\frac{1}{nh}\sum\limits_{i=1}^nK_0(\frac{x-x_i}{h})\mathrm d x\\ &=\frac{1}{n}\sum\limits_{i=1}^n\int K_0(\frac{x-x_i}{h})\mathrm d\frac{x-x_i}{h}\\ &=\frac{1}{n}\sum\limits_{i=1}^n\int K_0(t)\mathrm dt\\ &=\int K_0(t)\mathrm dt \end{aligned} \]

  所以只需要选取的\(K\)对概率空间积分为1就好。

• 常见的核函数\(K\)

  假设\(x\)是\(d\)维向量，\(c_d\)是\(d\)维空间下单位球的体积。

  上述的均匀分布函数：

  \[K_0(x)= \left\{ \begin{aligned} &\frac{1}{c_d}&\text{if}\ x^Tx\le1\\ &0\quad&\text{otherwise} \end{aligned} \right. \]

  各阶导数都光滑的标准高斯：

  \[K_G(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}x^Tx\right) \]

  以及Epanechnikov：

  \[K_E(x)= \left\{ \begin{aligned} &\frac{d+2}{2c_d}(1-x^Tx)&\text{if}\ x^Tx\le1\\ &0\quad&\text{otherwise} \end{aligned} \right. \]

  

• 直观的图形化理解：相当于是在每个采样点\(x_i\)处放了个\(K(\frac{x-x_i}{h})\)的概率密度分布，然后叠加在一起就构成了估计出的概率密度分布。比如下图左侧是一个二维随机变量的采样数据（为了方便演示，采样点个数取的很少，\(h\)取得也比较小），右侧对这写数据用Epanechnikov核函数估计的概率密度分布：