机器学习:线性回归(下)
简介
在上一篇文章《机器学习:线性回归(上)》中讨论了二维数据下的线性回归及求解方法,本节中我们将进一步的将其推广至高维情形。
章节安排
- 背景介绍
- 最小二乘法
- 梯度下降法
- 程序实现
一、背景介绍
1.1 超平面 的定义
定义在
其中:
在该定义中,超平面
,式
在一些情况下,也会将偏置项
在此基础上,超平面
有时也简称
示例
为方便读者理解,这里给出一个从二维的直线方程到超平面方程
1.2 高维线性回归
在高维线性回归任务中,采样数据的形式为
在高维数据的回归任务中,我们的目标是找到一个权重
其中:
同时,我们可以定义均方根误差(MSE)如下:
其中
线性回归的目标为,最小化损失,下面我们将从最小二乘法和梯度下降法两个角度实现线性回归。
二、最小二乘法
最小二乘法(Least Squares Method)是一种广泛使用的线性回归问题的求解方法,其核心思想是,均方根误差MSE关于权重
由于
求
另偏导等于
该方程称为正规方程(Normal Equation),解该方程可得:
2.1 最小二乘法缺点
以下是最小二乘法的主要缺点:
矩阵逆计算的复杂性
最小二乘法的解析解需要计算矩阵
在高维情况下(即特征数量
- 计算
的时间复杂度为 ,其中 是样本数量, 是特征数量。 - 计算矩阵逆的时间复杂度为
。
因此,当
矩阵不可逆问题
在高维情况下,特征数量
对异常值敏感
最小二乘法对异常值非常敏感。因为最小二乘法最小化的是平方误差,所以异常值会对模型的拟合产生较大的影响。这可能导致模型的泛化能力下降。
不适用于稀疏数据
对于稀疏数据(即特征矩阵中有大量零元素),最小二乘法的计算效率较低。稀疏数据通常更适合使用稀疏矩阵的优化方法,如 Lasso 或 Ridge 回归。
过拟合问题
如果没有正则化,最小二乘法容易过拟合,尤其是在特征数量远大于样本数量的情况下。过拟合会导致模型在训练集上表现很好,但在测试集上表现很差。
总结
尽管最小二乘法在许多情况下是一个简单有效的线性回归求解方法,但它也存在一些明显的缺点,特别是在高维数据和复杂情况下。为了克服这些缺点,可以考虑使用其他优化方法,如梯度下降、岭回归(Ridge Regression)、Lasso 回归等,这些方法在计算效率、对异常值的鲁棒性和防止过拟合方面有更好的表现。
三、梯度下降法
梯度下降法是一种常用的优化算法。通过迭代更新模型的参数,使得均方误差逐步减小,最终达到最优解。
对于单个样本
求其关于权重的偏导得:
故有参数修正公式如下:
四、程序实现
4.1 生成测试数据
程序流程:
- 定义特征维数
feature_num
及点个数point_num
。 - 定义权重向量
w
,特征数据X
,标签数据y
- 生成随机数,填充
w
和X
- 定义误差向量
error
,并用随机数填充 - 计算
y
#include <iostream> #include <vector> #include <Eigen/Dense> // Multiple linear regression data generation namespace MLR { void gen(Eigen::VectorXd& w, Eigen::MatrixXd& X, Eigen::VectorXd& y) { if (w.rows() != X.cols()) { throw std::invalid_argument("Dimension mismatch: The number of rows in w must equal the number of columns in X."); } if (X.rows() != y.rows()) { throw std::invalid_argument("Dimension mismatch: The number of rows in X must equal the number of rows in y."); } w.setRandom(); X.setRandom(); Eigen::VectorXd error(y.rows()); error.setRandom(); error *= 0.02; y = X * w + error; return; } } int main() { const size_t point_num = 10; const size_t feature_num = 7; Eigen::VectorXd w(feature_num); Eigen::MatrixXd X(point_num, feature_num); Eigen::VectorXd y(point_num); MLR::gen(w, X, y); std::cout << "y =\n" << y << "\n"; return 0; }
4.2 最小二乘法实现:
程序流程:
- 构建向量
wp
用以存储计算结果 - 采用公式
计算权重wp
- 输出
w-wp
以观察计算误差
Eigen库中求逆、求转置都需要以矩阵为主体,例如:
M.inverse()
和M.transpose()
。
取名
wp
是因为Weight prediction的首字母。
void LSM(Eigen::VectorXd& w, Eigen::MatrixXd& X, Eigen::VectorXd& y) { if (w.rows() != X.cols()) { throw std::invalid_argument("Dimension mismatch: The number of rows in w must equal the number of columns in X."); } if (X.rows() != y.rows()) { throw std::invalid_argument("Dimension mismatch: The number of rows in X must equal the number of rows in y."); } w = (X.transpose() * X).inverse() * X.transpose() * y; } int main() { // ... Eigen::VectorXd wp(feature_num); LSM(wp, X, y); std::cout << "w_error =\n" << w-wp << "\n"; return 0; }
下图为程序输出结果,由该图可以看出,最小二乘法的估计较为准确。
4.3 梯度下降法实现
程序流程:
- 构建向量
wp
,并初始化为随机权重。 - 每一个数据样本
x
,依据公式 更新一次权重。(GD_step
函数功能) - 重复步骤2,100次。
- 输出
w-wp
以观察计算误差
注意事项:
在该算法中,我们将样本的个数改为100个,即:
feature_num = 100
学习率过高会导致发散,详细参考上一篇文章:《机器学习:线性回归(上)》
下式子作用是将矩阵
X
的第idx
行读取为列向量
Eigen::VectorXd x = X.row(idx);
这与我们的使用直觉不符,实际上应为行向量。为避免出错,在后续计算中应使用x.transpose()
而非直接使用x
。
有一种方法可以规避该问题,即使用点积(内积)进行计算。在代码中给出了相关的示例(注释部分)
void GD_step(Eigen::VectorXd& w, Eigen::MatrixXd& X, Eigen::VectorXd& y, const double& lambda) { if (w.rows() != X.cols()) { throw std::invalid_argument("Dimension mismatch: The number of rows in w must equal the number of columns in X."); } if (X.rows() != y.rows()) { throw std::invalid_argument("Dimension mismatch: The number of rows in X must equal the number of rows in y."); } for (size_t idx = 0; idx < X.rows(); ++idx) { Eigen::VectorXd x = X.row(idx); // 使用点积 // Eigen::VectorXd gradient = 2 * (y(idx) - x.dot(w)) * x; // 因为 y-x*w是标量,且输出结果为VectorXd,因此最后的transpose是可去的。 // Eigen::VectorXd gradient = 2 * (y(idx) - x.transpose() * w) * x.transpose(); Eigen::VectorXd gradient = 2 * (y(idx) - x.transpose() * w) * x; w += lambda * gradient; } } int main() { const size_t point_num = 100; // ... Eigen::VectorXd wp(feature_num); wp.setRandom(); // 生成初始值 double lambda = 2e-3; for (int _ = 0; _ < 100; ++_) { GD_step(wp, X, y, lambda); } std::cout << "w_error =\n" << w - wp << "\n"; return 0; }
下图为程序输出结果,由该图可以看出,梯度下降法的估计较为准确。
本文来自博客园,作者:SXWisON,转载请注明原文链接:https://www.cnblogs.com/SXWisON/p/18569342
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~