分类与回归的联系和区别学习笔记
分类与回归的区别与联系
联系
回归与分类的本质联系是都要建立映射关系
\(f(x) \rightarrow y, x \in A, y \in B\)
区别
回归与分类的根本区别在于输出空间是否为一个度量空间
对于回归问题,其输出空间B是一个度量空间,即所谓“定量”。也就是说,回归问题的输出空间定义了一个度量\(d=F\left(y_{t r u e}, y_{p r e d}\right)\)去衡量输出值与真实值之间的“误差大小”。例如:预测一瓶700毫升的可乐的价格(真实价格为5元)为6元时,误差为1;预测其为7元时,误差为2。这两个预测结果是不一样的,是有度量定义来衡量这种“不一样”的。(于是有了均方误差这类误差函数)。
对于分类问题,其输出空间B不是度量空间,即所谓“定性”。也就是说,在分类问题中,只有分类“正确”与“错误”之分,至于错误时是将Class 5分到Class 6,还是Class 7,并没有区别,都是在error counter上+1
一图以概之
![](https://img2018.cnblogs.com/blog/1365906/202002/1365906-20200225093428365-806312385.png)
总结
拿支持向量机举个例子,分类问题和回归问题都要根据训练样本找到一个实值函数g(x).
回归问题的要求是:给定一个新的模式,根据训练集推断它所对应的输出y(实数)是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。
分类问题是:给定一个新的模式,根据训练集推断它所对应的类别(如:+1,-1)。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。
综上,回归问题和分类问题的本质一样,不同仅在于他们的输出的取值范围不同。
分类问题中,输出只允许取两个值;
而在回归问题中,输出可取任意实数
一个好玩的栗子
通过人物照片来判断一个人是不是胖子?(这是一个分类问题:是胖子或不是胖子)
通过人物照片来判断一个人有多重?(这是一个回归问题:高文欣看起来是100kg)