第三节，回归分析简介

1回归分析

回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种方法，是机器学习中重要的一个模块，在sklearn机器学习库中有广泛的算法实现，如OLS（最小二乘性：能很好地解决特征间无线性相关性的问题），脊回归等。

 

 

2多元回归

 

回归分析按照涉及的变量，即机器学习中特征的个数，分为一元回归和多元回归分析，如果预测的特征仅有一个，则为一元回归，否则为多元回归。

 

 

3线性回归

 

如果自变量和因变量之间是线性关系，则为线性回归分析，否则为非线性回归分析。

 

如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。不要小看一元线性回归分析，一个问题解决的开始往往都是从一元线性回归。

 

 

4多重线性回归

 

如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关性，此时称为多重线性回归分析。

 

如果我们要预测的数据模型，存在这种线性相关性，那么再使用最小二乘法进行权重参数求解，就会触发一个bug。

 

 

5总结

 

线性回归通常是人们在学习预测模型时首选的技术之一。线性回归的入手一般会根据OLS，但是如果结果不好的话，要考虑多变量之间是否存在多重线性相关性。