线性回归[听课]

Linear regression

银行发信用卡的例子

要不要发?

发多少额度?

理想的公式是输出实数的公式

hypothesis长什么样子?

加权求和算一个分数,x0是一个常数

perceptron 有 sign, 有sign取正负号的一步

linear hypothesis长什么样子?二维空间是一条线 line

现在没有ooxx了,只有o

三维空间长这样 hypothesis就是一堆三维的平面 hyperplane

红色的叫做误差、余数、residual 

误差怎么衡量?

in-sample 在我们的资料上,到底表现怎么样

out-of-sample 在我们没有看过的资料上,表现怎么样

x,y 都从一个distribution出来

有noisy

怎么把Ein做的小?

怎么求一个w?

把这个式子表示成矩阵运算的形式

为了后面清楚一点

连加平方,表示成:向量长度的平方

共同的w提出来,整理一下

xi是高高的,转置是横躺的

最后得到

可微函数、凸函数、连续函数

在谷底的时候,各个方向的梯度都是0

Ein 中算向量平方的式子展开

这件事情没有那么不直觉

A是一个对称矩阵

 

没有反矩阵存在,有很多解,如果平台上有sudo-inverse, 直接用

 

posted @ 2016-07-25 17:25  hopskin1  阅读(158)  评论(0编辑  收藏  举报