数据挖掘复习 回归

3.1 线性回归：

　　Features: Denoted as x=[x¹,x²,...x^k]^T,因为特征一般以列向量来表示。

　　多个特征的表示方法。

　　使用一个关于X的线性方程来拟合Y。

　　通过代价函数J(Θ) 在优化条件下，来选取或者学习最优Θ。目标是找到一个Θ，使这个J(Θ)最小。

　　最小二乘法：梯度下降算法，不断更新Θ，直到Θ收敛。

　　显示最小化：Θ*=(X^TX)^-1X^Ty

　　最后是对最小二乘法的一个几何解释、概率解释

　　

　　局部加权线性回归(Locally Weighted Linear Regression)：与原始线性回归的区别在于，原始线性回归所有的测试点都由相同的参数Θ，而局部加权线性回归所有的测试点拥有不同的测试点Θ。

　　原始线性回归是一种参数学习方法，LWR是一种非参数方法。因为参数学习方法拥有固定的有限数目的Θ，我们一旦获得并保存了Θ之后，就不再需要训练集来做预测了；如果使用LWR做预测，我们必须时刻保持整个训练集。