机器学习多元线性回归的数学原理推导

多元线性回归算法和正规方程解

——燕江依/2019.08.05

1、对于多元线性回归算法，它对于数据集具有较好的可解释性，我们可以对比不过特征参数的输出系数的大小来判断它对数据的影响权重，进而对其中隐含的参数进行扩展和收集，提高整体训练数据的准确性。

2、对于KNN算法和多元线性回归算法对比可以知道，KNN算法是一种非参数学习的算法，而多元线性回归算法是一种参数学习的算法，另外KNN算法没有数据的假设前提，而多元线性回归算法是具有数据假设的：数据之间呈现线性关系。
3、多元线性回归算法是许多分类算法的基础，它只能解决回归问题，而不能解决分类问题，而KNN算法既可以解决分类问题，又可以解决回归问题。
4、多元线性回归算法的解法采用了正规方程解，得到的解的方程具有较高的时间复杂度，并不利于大数据的计算。

 

5、对于多元线性回归算法的具体数学原理推导过程如下所示：

 

在sklearn库中通过多元线性回归算法训练基础数据集，便可以得到整体的各个系数和截距，通过调用

.coef_和.intercept_便可以输出相应的系数与截距的值，从而得到不同特征对于最终结果的影响程度。