线性回归[听课]

Linear regression

银行发信用卡的例子

要不要发？

发多少额度？

理想的公式是输出实数的公式

hypothesis长什么样子？

加权求和算一个分数，x0是一个常数

perceptron 有 sign, 有sign取正负号的一步

linear hypothesis长什么样子？二维空间是一条线 line

现在没有ooxx了，只有o

三维空间长这样 hypothesis就是一堆三维的平面 hyperplane

红色的叫做误差、余数、residual 

误差怎么衡量？

in-sample 在我们的资料上，到底表现怎么样

out-of-sample 在我们没有看过的资料上，表现怎么样

x,y 都从一个distribution出来

有noisy

怎么把Ein做的小？

怎么求一个w?

把这个式子表示成矩阵运算的形式

为了后面清楚一点

连加平方，表示成：向量长度的平方

共同的w提出来，整理一下

xi是高高的，转置是横躺的

最后得到

可微函数、凸函数、连续函数

在谷底的时候，各个方向的梯度都是0

Ein 中算向量平方的式子展开

这件事情没有那么不直觉

A是一个对称矩阵

 

没有反矩阵存在，有很多解，如果平台上有sudo-inverse, 直接用