几种线性回归模型
1. modeling as function approximation
统计中一个非常重要的任务是刻画一组变量之间的关系。在回归问题中,往往其中一个变量是我们特别感兴趣的,这个变量通常称为response, dependent variable, 记为y;其他的变量,x1,x2,...xk,通常称为 explanatory, regressor, or independent variables, 主要用于解释或预测y的取值,机器学习文献喜欢称其为对象的特征表示。特征变量与response之间的关系,希望能够用某个函数f来表示:
y ~ f(x1,x2,...,xk)
comments:
1)上述关系永远不可能是exactly成立的,因为数据中总有误差,这是现实。
2) 关于f,我们必须要从某个泛函空间中寻找一个,因此必须对这个泛函空间进行假定,在比较强的假定下,我们通常能够假定出函数的数学形式,但是参数不知道。当然这个数学形式应当反应出所研究问题的physical process or scientific laws. 这样,我们得到
y ~ f (x1,x2,...x,,theta)
根据f的数学形式,可分为线性模型和非线性模型,,这里所说的线性是指对参数而言,比如,y~ w0 + w1 x1 + w2 x2^2
y~ w0 + w1 sinx 这两个模型关于x都是非线性的,但关于参数w0,w1,w2而言,它们都是线性函数。而 y= w0 + w1 exp(w2 x1) 则是非线性模型。
在没有其他假定之下,我们通常喜欢采用线性模型。如前所述,线性模型并不一定是简单模型,因为x与y之间仍然可能是非线性的。
3) 在现实任务中,y和x都有可能存在误差,因此都有可能被当作随机变量来处理,一般我们有如下几种模型:
a)x当作确定,只把y当作随机变量
b) x 和y都是随机变量
2. Fixed regressor Model :y = f (x, theta) + epslon
这又分两种情况,一是认为x是完全无误差观测,所以完全不必把它当随机变量,另一种情况是即使知道x是随机变量,但不关心其分布,所以也把它确定的观测来看待,这种模型又叫条件模型。
1) regressors measured without error
这时只有y有观测误差,而x的观测误差非常小(其方差和y的方差相比可忽略),而这误差项为 epslon, 则模型为:
y = f (x, theta) + epslon ........(2.1)
而对y的约束是:这些有误差的观测的期望存在,且等于真实值u, 这个假设的理论依据是大数定律。由于epslon表示对y的误差刻画,所以这意味着 E(epslon) = E(y - u) = E(y) - u = u -u = 0.
2) Conditional Regressor Model
尽管x是随机变量,但对它的观测十分准确,比如x和y是某种动物的身高和体重,尽管动物是随机挑选,因此x和y都是随机变量,但是x可以精确刻画,比如x=x0,而y则没有这种精度,因此可以建立如下condioned on the observed value of x 的条件模型:
E( y| x= x0) = f(x0, theta)
即用函数模型f(x0, theta)来刻画条件期望E( y| x= x0),即(2.1)的含义是关于无误差度量的条件模型。
注意条件模型的特点,它没有把X当做随机变量,并不是因为X不是随机变量,而是因为X可以准确测量。还要注意Y的期望和条件期望的区别,
由(2.1),Y的Marginal分布的期望 E(Y) = E( f(X) + epslon) = E(f(x)) + E(epslon) = u + 0 = u.
但条件模型说, E(Y|X=x) = f((x),这两者有什么联系?
答案是:E(Y) =E (E(Y|X))
第二种情况是,f 被经验地选择为刻画y与x的观测值之间的关系,这时(2.1) 可以理解为给定x的观测值(可能是有误差的),对y的条件分布进行建模。
但是仍然存在如下情况,就说f只用于刻画真实的y与真实的x值之间的函数关系。这就是下面的
2. random regressor model
设u和v之间的关系为: u = f(v,theta)
但是由于误差关系,实际的观测值为:
x = v + delta
y = u+ epslon
其中E(delta) = E(epslon)=0
则: y = u+epslon = f(v,theta) + epslon = f(x-v,theta) +epslon
由中值定理,在x与x-v之间存在 x^,使得 f(x-v,theta) = f(x) - delta f'(x^,theta), 代入上士,
y = f(x) - delta f'(x^,theta) - epslon = f(x,theta) + eplson*
上式与(2.1)的主要区别是,x是随机变量,E(epslon×)<>0.
其他模型,
1) dynamic 模型,当前预测取决于前一次预测以及当前样本值
yi = f( y_(i-1), x_i; theta) + epslon_i.
2) 无监督模型,
如PCA,d 维变量x被model成某个仿射空间的元素加误差:
设该仿射空间的位置为m,平行空间的基为 h1, h2, ...hk, x在这组基上的坐标为 w1, w2, ...,wk, 则由表示定理,
x = h1 w1 + h2 w2 + ... hk wk + m +$ \epsilon$
= Hw + m + epslon
其中H是由h1...hk 为列向量的矩阵, m是平移量,epslon 服从 N(0,V)分布,V = vEye_d. 坐标w服从N(0, Id).在这个模型下,PCA的目标是求子空间的基H以及估计误差分布参数v。