线性回归

线性回归

原理推导

根据特征预测结果,找一条最合适的线来拟合数据。

拟合的平面(θ0 是偏置项):hθ(x)=θ0+θ1x1+θ2x2

x0=1 x0θ0=θ0 整合得:hθ(x)=i=0nθixi=θTx

误差

真实值与预测值之间得误差用 ε 表示,对于每个样本:

(1)y(i)=θTx(i)+ε(i)

ε(i) 是独立且具有相同的分布,并且服从均值为0方差为 θ2 的高斯分布。

​​📐​​高斯分布概率密度函数:

f(x)=12πσexp((xμ)22σ2)

误差服从高斯分布:

(2)p(ϵ(i))=12πσexp((ϵ(i))22σ2)

将(1)代入(2)得:

p(y(i)|x(i);θ)=12πσexp((y(i)θTx(i))22σ2)

θx(i) 组合的预测值接近真实值 y(i) 的概率越高越好。

似然函数:

L(θ)=i=1mp(y(i)|x(i);θ)=i=1m12πσexp((y(i)θTx(i))22σ2)

​​📐极大似然估计的意义:刻画参数 θ 与数据的匹配程度。

  • 联合概率密度等于边缘概率密度的乘积。

📌图解联合概率密度、边缘概率密度、条件概率密度之间的关系

累乘求结果太难,取对数转换为求和。

对数似然函数:

logL(θ)=logi=1m12πσexp((y(i)θTx(i))22σ2)

下图截自统计计算:似然函数
img

展开化简:

i=1mlog12πσexp((y(i)θTx(i))22σ2)=mlog12πσ1σ212i=1m(y(i)θTx(i))2

目的是让概率越大越好,减号前是常数,减号后的值恒正,值越小越好。

步骤如下:

  1. 目标函数/损失函数/loss function(最小二乘法):

J(θ)=12i=1m(y(i)θTx(i))2=12i=1m(hθ(x(i))y(i))2=12(XθY)T(XθY)

其中 hθ(x(i))=Xθm×1 的向量,θn×1 的向量,Xm×n 的矩阵,Ym×1 向量。m 代表样本的个数,n 代表样本的特征数。
2. 对 θ 求偏导:

θJ(θ)=θ(12(XθY)T(XθY))=θ(12(θTXTYT)(XθY))=θ(12(θTXTXθθTXTYYTXθ+YTY))=12(2XTXθXTY(YTX)T)=XTXθXTY=XT(XθY)

  1. 设偏导 θJ(θ)=0 取极值,整理得:

    θ=(XTX)1XTY

下图转自多项式最小二乘法拟合的python代码实现
img

posted @   青衫扶夕  阅读(17)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示