回归问题的评价指标和重要知识点总结

回归分析为许多机器学习算法提供了坚实的基础。在这篇文章中，我们将总结 10 个重要的回归问题和5个重要的回归问题的评价指标。

1、线性回归的假设是什么？

线性回归有四个假设

• 线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。
• 独立性：特征应该相互独立，这意味着最小的多重共线性。
• 正态性：残差应该是正态分布的。
• 同方差性：回归线周围数据点的方差对于所有值应该相同。

2、什么是残差。它如何用于评估回归模型？

残差是指预测值与观测值之间的误差。它测量数据点与回归线的距离。它是通过从观察值中减去预测值的计算机。

残差图是评估回归模型的好方法。它是一个图表，在垂直轴上显示所有残差，在 x 轴上显示特征。如果数据点随机散布在没有图案的线上，那么线性回归模型非常适合数据，否则我们应该使用非线性模型。

3、如何区分线性回归模型和非线性回归模型？

两者都是回归问题的类型。两者的区别在于他们训练的数据。

线性回归模型假设特征和标签之间存在线性关系，这意味着如果我们获取所有数据点并将它们绘制成线性（直线）线应该适合数据。

非线性回归模型假设变量之间没有线性关系。非线性（曲线）线应该能够正确地分离和拟合数据。

找出数据是线性还是非线性的三种最佳方法 -

1. 残差图
2. 散点图
3. 假设数据是线性的，训练一个线性模型并通过准确率进行评估。

4、什么是多重共线性。它如何影响模型性能？

当某些特征彼此高度相关时，就会发生多重共线性。相关性是指表示一个变量如何受到另一个变量变化影响的度量。

如果特征 a 的增加导致特征 b 的增加，那么这两个特征是正相关的。如果 a 的增加导致特征 b 的减少，那么这两个特征是负相关的。在训练数据上有两个高度相关的变量会导致多重共线性，因为它的模型无法在数据中找到模式，从而导致模型性能不佳。所以在训练模型之前首先要尽量消除多重共线性。

5、异常值如何影响线性回归模型的性能？

异常值是值与数据点的平均值范围不同的数据点。换句话说，这些点与数据不同或在第 3 标准之外。

线性回归模型试图找到一条可以减少残差的最佳拟合线。如果数据包含异常值，则最佳拟合线将向异常值移动一点，从而增加错误率并得出具有非常高 MSE 的模型。

6、什么是 MSE 和MAE有什么区别？

MSE 代表均方误差，它是实际值和预测值之间的平方差。而 MAE 是目标值和预测值之间的绝对差。

MSE 会惩罚大错误，而 MAE 不会。随着 MSE 和 MAE 的值都降低，模型趋向于一条更好的拟合线。

完整文章：

https://avoid.overfit.cn/post/231a3a53616a42aebc8aba88e3e131c9