机器学习基石笔记9——机器可以怎样学习(1)
Lecture 9:Linear Regression
9.1 Linear Regression Problem
图 9-1
现在用机器学习来决定给用户信用卡的额度。如图 9-1 所示,输入的是一系列用户相关的特征,输出的是信用卡额度。本例采用 Linear Regression
图 9-2 2D Linear Regression
如图 9-2 所示,一般用距离的平方来评估 Regression 的误差。对于 N Dimension 的 Linear Regression, Ein 如图 9-3 所示
图 9-3
现在的问题就是如何 Minize Ein(W)?
图 9-4
如图 9-4 所示, 推导出的 Ein 是凸函数。在导数为 0 的是可以取到 mini value
图 9-5
此时,要分二种情况。一种是 XTX invertible (often but not always), 则可以取到 unique W。否则 W 有很多解
图 9-6
9.2 Linear Regression Algorithm
y = Xw 和 wLIN = X+y 带入到公式 9-1, 可以得出如图9-7 所示的结论
$$ E_{in}(W_{LIN}) = \frac{1}{N}\Vert y - \hat{y} \Vert^2 $$
图 9-7
9.3 Generalization Issue
Ein 的均值有个特殊的表达式,如图 9-8 所示。我们不做证明,简单想象一下,假设数据集是线性可分的,我们将样本空间中的所有数据都用计算 Ein。 Ein 的表达式肯定是和 Noise level 有关的(参考第八节课关于 Nosie 的定义)。
这样我们就可以接受图 9-8 的中表达式
图 9-8
现在我们来从思考图 9-7 中 ÿ (不知道怎么打出 y hat 字符~)的几何意义。从下面的公式可以看出最终的 ÿ 由 y 的线性组合加上某个 ⊥ y 所在平面的向量 (如何没有这个 ⊥向量,Ein 就能等于0 如果你的计算资源足够多)。
求解 ÿ 的过程也等于是求 ⊥ 平面向量的过程。
图 9-9 图 9-10
课件中在讨论几何意义时,也顺便了证明了 图9-9所示的结论。在前面的笔记中就贴出了类似图 9-10 的图片,当时没有做过多的解释
记得 VC Bound 是有关 in-sample 和 out-sample Error 的公式,图 9-10 是也是关于 in-sample 和 out-sample Error。后续的笔记还有 in-sample 和 Augment Error 关系
9.4 Linear Regression for Binary Classification
Linear Classification 的 Ein 很难 minized(不可导,不能用现有的方法), Linear Regression 的 Ein 很容易被优化。
而且图 9-11 所示,Lineare Regression 的损失函数要大于 Linear Classification 所以可用 LIneare Regression 来做分类
图 9-11
最好要贴上本章最有一页截图
图 9-12
题外话:
T1:先看图 9-12, 图 9-12 是第十三节讨论 Noise 时展示的 in-sample 和 out-sample 的 Nosie Level。
结合图 9-12 和图 9-10 这两张图,不知道大家有没有发现有个好玩的东西?下面我来讲一下我发现的好玩的东西:
1. 图 9-10 和 图 9-12 很像
2. 图 9-10 所示结论是针对 Linear Regression 得出的,且这个结论要借助 Linear Regession 解析解的几何意义(即 最佳的 ÿ 等于⊥ x span 的向量 Plus x span 内一个向量)来证明。
3. 图 9-12 则是截取于第十三节,对所有算法都成立(基本上吧),不局限于 Linear Regression。那么图 9-12 中的结论是不是很有趣,是不是也有类似 Linear Regression 的几何意义? 是不是也有 矩阵 trace 迹?
图 9-12 十三节 Noise