机器学习(1)

什么是回归

回归分析是一种 基于已有数据建立模型的方法，旨在帮助我们进行未来的预测。通过回归分析，我们可以探索因变量（目标变量）与一个或多个自变量（特征变量）之间的关系。

损失函数

在回归分析中，我们通常需要衡量模型的预测效果，这就涉及到损失函数。常见的损失函数包括 绝对值损失和最小二乘损失。损失越小，说明模型的预测效果越好。

绝对损失

绝对损失又称为L1损失或绝对误差损失（Absolute Error Loss），用于衡量 预测值与真实值之间的绝对差异。它对每个数据点的误差进行线性惩罚。

最小二乘损失

最小二乘损失又称为L2损失或平方误差损失（Squared Error Loss），用于衡量 预测值与真实值之间的平方差。它对每个数据点的误差进行平方惩罚，强调了较大的误差。

差异

• 对异常值的敏感性
  • 绝对损失：对异常值的敏感性较低，能更好地处理离群点。
  • 最小二乘损失：对异常值非常敏感，平方会放大较大误差的影响。
• 优化特性
  • 绝对损失：在0点处导数不存在(因为是绝对值)，优化时可能不稳定，需使用次梯度方法(非光滑优化)。
  • 最小二乘损失：在所有点处具有导数，优化过程平滑且易于计算。
• 应用场景
  • 绝对损失：适合数据中存在异常值的情况，如金融领域的回归分析。
  • 最小二乘损失：常用于数据相对干净、需要高精度预测的回归任务。

线性回归

线性回归是最基础的回归方法之一，它描述了因变量与自变量之间的线性关系。线性回归的目标是通过找到最优的 线性模型 来拟合数据。

线性回归的损失函数

线性回归的损失函数通常采用最小二乘法，目标是最小化预测值与真实值之间的差异。

简单介绍下上面数学符号---范数

闭式解求权重 (w)

在线性回归中，我们可以通过闭式解求得权重 (w)，从而实现模型的训练。

需要注意的是，有些矩阵是不可逆的，通常可以通过加一个偏置的单位矩阵来确保其可逆性。

正则化最小二乘

正则化是为了防止模型过拟合的一种技术，通过对损失函数添加正则项，来限制模型复杂度。

什么是梯度

梯度是指向上升的方向，表示在某一点上函数值增加最快的方向。梯度是函数的偏导数向量，描述了在每个参数方向上的变化率。

• 上升方向：如果沿着梯度的方向移动，函数值将增加，损失函数可能变得更大。
• 下降方向：如果沿着梯度的反方向（即负梯度方向）移动，函数值将减少，损失函数也会变小。这就是梯度下降法中使用负梯度的原因。

梯度下降

梯度下降是一种用于最小化损失函数的方法，它通过迭代调整模型参数来逐步逼近最优解。

一般优化算法主要涉及方向和步长。

在梯度下降算法中，通常的步骤如下：

1. 计算损失函数。
2. 计算梯度。
3. 使用负梯度作为下降方向，选择一个学习率来更新权重 (w)。

收敛性

在机器学习的梯度下降中，收敛指的是通过迭代过程，参数逐渐接近最优值，损失函数的值趋向于最小值。

学习率对收敛性有很大影响：如果学习率过小，收敛速度会变慢，需要更多的训练轮数；如果学习率过大，可能导致参数在最优值附近来回摆荡，从而无法收敛。

---

总结

要获得最佳的参数，即最好的模型，预测更准，有以下几种方法，对于线性回归

1. 闭式解求权重w
2. 一般优化算法
3. 梯度下降优化算法