Machine Learning---005

Machine Learning---005

局部多项式回归

局部多项式回归的拟合

局部多项式回归的拟合，需要我们在每个点$x_0$完成以下目标：

$$\underset{\alpha (x_0),{\beta }_j(x_0),j=1,...,d}{min}{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)[y_i-\alpha (x_0)-{\sum }_{j=1}^d{\beta }_j(x_0)x_i^j{]}^2$$

得到的解为

$$\hat{f}(x_0)=\hat{\alpha }(x_0)+\sum _{j=1}^N{\hat{\beta }}_j(x_0)x_0^j$$

实际上就是一种加权最小二乘，密度低的地方的数据权重小，密度高的地方的数据权重大。

局部多项式回归的性质

• 有偏差的话，只能至少是$d+1$次项。

• 偏差小的代价是方差大（过拟合）。

• 局部线性拟合有助于在边界处显着减小偏差，并且方差增大成本很小。局部二次拟合对在边界出减小偏差几乎没有作用，但是会大大增加方差。下图可以很好地展示这点。
  

• 边界效应在二维或更高维度中是一个更大的问题，因为边界上的点的比例更大。

• 局部回归的在更高维的情况下效果不是很理想。

• 当维度 p 增大时但样本量没有随之增大时不可能同时满足low bias和low variance。

局部似然

局部似然拟合

局部似然（线性）的拟合，需要我们在每个点$x_0$完成以下目标：

$$\underset{\beta (x_0)}{max}{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)l(y_i,x_i^T\beta (x_0))$$

同样可以视为加权。稍微拓展下，将上式子改写成：

$$\underset{\theta (z_0）}{max}{\sum }_{i=1}^N{K}_{\lambda }(z_0,z_i)l(y_i,\eta (x_i,\theta (z_0)))$$

$z$是$x$ or $y$经过变换得到的。$\eta (x,y)$是拟合成的函数形式。若取$\eta (x_i,\theta (x_0))=x_i^T\theta (x_0)$则意味着这是一个线性局部拟合。

局部似然应用

• 我们可将其用在时间序列上。假如我们想拟合一个 Autogressive time series model with order of k （即$y_t={\beta }_0+{\beta }_1{y}_{t-1}+...+{\beta }_k{y}_{t-k}+{ϵ}_t$），我们可以设$z_t=f(y_{t-1},...,y_{t-k})$然后用上面式子拟合就成。$K_{\lambda }(z_0,z_i)$则可以用来控制时间序列对不同距离点的记忆能力。

• 我们还可以将其用在Multiclass Linear Logistic Regression上。对feature $x_i$来说，设其可能有的分类集合为 $g\in \{1,2,3,...,J\}$，则Linear Model有以下形式：

$$Pr(G=j|X=x)=\frac{e^{{\beta }_{j0}+{\beta }_j^{T}x}}{1+\sum _{k=1}^{J-1}{e}^{{\beta }_{k0}+{\beta }_k^{T}x}}$$

$J$分类的最大似然函数可被转化为：

$$\sum _{i=1}^N{K}_{\lambda }(x_0,x_i)\{{\beta }_{g,0}(x_0)+{\beta }_{g_i}(x_0{)}^T(x_i-x_0)$$

$$-log[1+\sum _{k=1}^{J-1}exp({\beta }_{k0}(x_0)+{\beta }_k(x_0{)}^T(x_i-x_0))]\}$$

然后求解即可。

核密度函数估计以及分类

核密度函数估计

Parzen 估计

$${\hat{f}}_X(x_0)=\frac{{\sum }_{i=1}^N{K}_{\lambda }(x_0,x_i)}{N\lambda }$$

这里$K_{\lambda }$通常是Gaussian Kernel，故：

$${\hat{f}}_X(x)=\frac{1}{N}\sum _{i=1}^J{\varphi }_{\lambda }(x-x_i)$$

这里${\varphi }_{\lambda }$表示均值为 0 标准差为$\lambda$的高斯密度函数。

注意：${\hat{f}}_X(x)$在R中积分值为1，因为其是概率密度。

核函数分类

通过贝叶斯定理以直接的方式使用非参数密度估计进行分类：

$$\hat{P}r(G=j|X=x_0)=\frac{{\hat{\pi }}_j{\hat{f}}_j(x_0)}{\sum _{k=1}^J{\hat{\pi }}_k{\hat{f}}_k(x_0)}$$

最后选出概率最大类别即可。

朴素贝叶斯分类器

朴素贝叶斯模型假设给定一个类$G=j$, 特征$X_k$相互独立，我们可以得到：

$$f_j(X)=\prod _{k=1}^p{f}_{jk}(X_k)$$

对其进行对数变化：

$$\frac{log(Pr(X|G=i))}{log(Pr(X|G=j))}=\frac{{\pi }_i{f}_i(X)}{{\pi }_j{f}_j(X)}=log\frac{{\pi }_i}{{\pi }_j}+\sum _{k=1}^{p}log\frac{f_{i}k(X_k)}{f_{jk}(X_k)}={\alpha }_i+\sum _{k=1}^p{g}_{Ik}(X_k)$$

设${\lambda }_j=\lambda$可以减少参数量，但是会产生“空穴区域”，示意图如下：

可以看到，有些地方$Pr(X|G=j)$对于所有j都几乎为0，并不能比较好地覆盖整个横轴。这些密度较低地方的X可能对计算造成严重影响。重新正则化径向基函数可以避免这个问题：

$$h_j(x)=\frac{D(||x-{\xi }_j||)/\lambda }{\sum _{k=1}^{M}D(||x-{\xi }_k||)/\lambda }$$

前面图中四个处理后如下：

（参数估计未完成待补充）
Nadaraya-Watson 核估计可以视为正则化的径向基函数的扩展。