机器学习(3)之最小二乘法的概率解释与局部加权回归
2014-09-10 23:47 追风的蓝宝 阅读(1372) 评论(0) 编辑 收藏 举报机器学习(3)之最小二乘法的概率解释与局部加权回归
1. 最小二乘法的概率解释
在前面梯度下降以及正规方程组求解最优解参数Θ时,为什么选择最小二乘作为计算参数的指标,使得假设预测出的值和真正y值之间面积的平方最小化?
我们提供一组假设,证明在这组假设下最小二乘是有意义的,但是这组假设不唯一,还有其他很多方法可以证明其有意义。
(1) 假设1:
假设输入与输出为线性函数关系,表示为:
其中,为误差项,这个参数可以理解为对未建模效应的捕获,如果还有其他特征,这个误差项表示了一种我们没有捕获的特征,或者看成一种随机的噪声。
假设服从某个概率分布,如高斯分布(正态分布):
,表示一个均值是0,方差是
的高斯分布。
高斯分布的概率密度函数:
根据上述两式可得:
即,在给定了特征与参数之后,输出是一个服从高斯分布的随机变量,可描述为:
*为什么选取高斯分布?
1) 便于数学处理
2) 对绝大多数问题,如果使用了线性回归模型,然后测量误差分布,通常会发现误差是高斯分布的。
3) 中心极限定律:若干独立的随机变量之和趋向于服从高斯分布。若误差有多个因素导致,这些因素造成的效应的总和接近服从高斯分布。
注意:并不是一个随机变量,而是一个尝试估计的值,就是说它本身是一个常量,只不过我们不知道它的值,所以上式中用分号表示。分号应读作“以…作为参数”,上式读作“给定x(i)以为参数的y(i)的概率服从高斯分布”。
假设每个 为IID(independently and identically distributed)独立同分布
即误差项彼此之间是独立的,并且他们服从均值和方差相同的高斯分布
(2) 假设2:
设的似然性为(即给定x(i)以为参数的y(i)的概率):
由于是独立同分布,所以上式可写成所有分布的乘积:
(3) 假设3:
极大似然估计:选取使似然性
最大化(数据出现的可能性尽可能大)
定义对数似然函数为:
上式两个加项,前一项为常数。所以,使似然函数最大,就是使后一项最小,即:
这一项就是之前的 ,由此得证,即之前的最小二乘法计算参数,实际上是假设了误差项满足高斯分布,且独立同分布的情况,使似然最大化来计算参数。
2.局部加权回归
一种特定的非参数学习算法。也称作Loess。
算法思想:
假设对于一个确定的查询点x,在x处对你的假设h(x)求值。
对于线性回归,步骤如下:
1) 拟合出,使
最小
2) 返回
对于局部加权回归,当要处理x时:
1) 检查数据集合,并且只考虑位于x周围的固定区域内的数据点
2) 对这个区域内的点做线性回归,拟合出一条直线
3) 根据这条拟合直线对x的输出,作为算法返回的结果
用数学语言描述即:
1) 拟合出,使
最小
2) w为权值,有很多可能的选择,比如:
- 其意义在于,所选取的x(i)越接近x,相应的w(i)越接近1;x(i)越远离x,w(i)越接近0。直观的说,就是离得近的点权值大,离得远的点权值小。
- 这个衰减函数比较具有普遍意义,虽然它的曲线是钟形的,但不是高斯分布。
- 被称作波长函数,它控制了权值随距离下降的速率。它越小,钟形越窄,w衰减的很快;它越大,衰减的就越慢。
3) 返回
总结:对于局部加权回归,每进行一次预测,都要重新拟合一条曲线。但如果沿着x轴对每个点都进行同样的操作,你会得到对于这个数据集的局部加权回归预测结果,追踪到一条非线性曲线。
*局部加权回归的问题:
由于每次进行预测都要根据训练集拟合曲线,若训练集太大,每次进行预测的用到的训练集就会变得很大,有方法可以让局部加权回归对于大型数据集更高效,详情参见Andrew Moore的关于KD-tree的工作。