[机器学习笔记] 什么是分类，什么是回归？

 

监督学习中，

• 如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），
• 如果预测的变量是连续的，我们称其为回归。

回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

对于二维空间，线性是一条直线；对于三维空间，线性是一个平面，对于多维空间，线性是一个超平面。
参考： http://blog.csdn.net/qll125596718/article/details/8248249

以下内容参考：李航《统计学习方法》第12章

• 分类算法有感知机、K近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方法。
• 原始的感知机、支持向量机以及提升方法是针对二类分类的，可以将它们扩展到多类分类。
• 感知机、K近邻、朴素贝叶斯、决策树是简单的分类算法，模型直观、实现容易。
• 逻辑回归与最大熵模型、支持向量机、提升方法是较复杂但更有效的分类算法。

end