线性回归原理总结
基本形式
线性回归(linear regression)通过学习获得一个线性模型以尽可能准确地预测实际标签值。对于具有m个样本的数据集,给定
一般向量形式为
损失函数
损失函数用来衡量模型参数
在线性回归中,一般采用均方误差(
将所有样本的特征和标签分别以矩阵形式表示:
注:线性回归的损失函数是凸函数。关于损失函数的具体形式,不同书籍、网页资料、教程会有所不同,区别在于是否添加系数
损失函数的优化
1.最小二乘法(用途广泛,不仅限于线性回归)
基于均方误差最小化来进行模型参数求解的方法称为"最小二乘法"(least square method),就是试图找到一条直线(或一个超平面),使所有样本到直线(或超平面)上的欧式距离之和最小(注:均方误差等于最小二乘法除以样本数m)。
代数法求解
那么,最小二乘法如何才能使
首先把损失函数
对
矩阵法求解
目前,机器学习中用到最小二乘法时,绝大多数都是利用矩阵进行求解。下面讲解比较简洁的矩阵法来求解最小二乘法,如下:
首先把损失函数
对
当
涉及到的矩阵运算公式
对于任意两个列向量
若矩阵
最小二乘法的应用条件和局限性
必须可逆。对于特征数目 大于样本数 的情况,会导致 的列数多于行数, 不是满秩,故不能用最小二乘法。- 建议样本特征<10000时,使用最小二乘法。因为当特征n非常大时,计算
的逆矩阵比较耗时。 - 拟合函数必须是线性的。
2.梯度下降法
注:由于线性回归的损失函数是凸函数,梯度下降得到的解一定是全局最优解。
涉及到的矩阵运算公式
正则化
为了防止模型过拟合,通常需要引入正则项,实现方式是原损失函数
常见的正则化方式有两种:L1和L2。其中L1正则项是指参数向量中每个参数的绝对值之和,L2为参数向量中每个参数的平方和。L1正则化可以使得参数稀疏化,即得到一个稀疏矩阵(很多参数压缩为0),也可以用于特征选择。L2正则化只会让参数尽量小,不会取到0。在线性回归模型中,L1正则化叫做Lasso回归,L2正则化的叫做Ridge回归(岭回归)。
参考资料
1.周志华《机器学习》
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY