局部加权回归
局部加权回归(Locally Weighted Regression, LWR)
局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集,所以每次估计的参数值是不确定的。
局部加权回归优点:
- 需要预测的数据仅与到训练数据的距离有关,距离越近,关系越大,反之越小;
- 可以有效避免欠拟合,减小了较远数据的干扰,仅与较近的数据有关。
局部加权回归原理:
图1 局部加权回归原理
对于一般训练集:
参数系统为:
线性模型为:
线性回归损失函数J(θ):
局部加权回归的损失函数J(θ):
其中,τ为波长函数[1],权重之所以采取指数形式是因为这个形式最常见。
[1] 机器学习。
原创文章,转载请注明出处!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术
· .NET周刊【3月第1期 2025-03-02】