线性回归

定义

进行加权求和之后不用进行sign运算

因此，线性回归分析的目的就是找到最接近的线/平面。（红色部分为余数，蓝色部分为h）

计算最小的Ein（w）

w为加权系数

E（in）为凹函数，设最低点为W（lin）

y（hat）=Xw，X是一个N维的平面。
要让y-y（hat）最小，即做平面span的垂直，h表示垂直处理，I-h为求余数。

The Learning Curve

linear reg能否包含cla？
从两种error的关系来看，reg的error一直大于cla

代入：