PRML-公式推导 - 1.90,3.40

https://biggerhao.github.io/blog/2018/03/PRML-1-90/

原文回顾

(y(x) 的最优解是给定 xt 的条件期望。 (1.89)y(x)=tp(x,t)dtp(x)=tp(t|x)dt=Et[t|x] 而期望损失的定义如下 (1.87)E[L]={y(x)t}2p(x,t)dxdt\)


公式推导

(1.87){y(x)t}2={y(x)E[t|x]+E[t|x]t}2={y(x)E[t|x]}2+2{y(x)E[t|x]}{E[t|x]t}+{E[t|x]t}2

从而可得
E[L]={y(x)E[t|x]}2p(x,t)dxdt+2{y(x)E[t|x]}{E[t|x]t}p(x,t)dxdt+{E[t|x]t}2p(x,t)dxdt

其中
{y(x)E[t|x]}{E[t|x]t}p(x,t)dxdt={y(x)E[t|x]}E[t|x]p(x,t)dtdx{y(x)E[t|x]}tp(x,t)dtdx={y(x)E[t|x]}E[t|x]p(x)dx{y(x)E[t|x]}tp(t|x)p(x)dtdx={y(x)E[t|x]}E[t|x]p(x)dx{y(x)E[t|x]}E[t|x]p(x)dx=0
(x)(E[t|x])(t)(E[t|x]).


E[L]={y(x)E[t|x]}2p(x,t)dxdt+{E[t|x]t}2p(x,t)dxdt={y(x)E[t|x]}2p(x,t)dtdx+{E[t|x]t}2p(t|x)p(x)dtdx ={y(x)E[t|x]}2p(x)dx+var[t|x]p(x)dx

(E)(t)
var[t|x]=E[(tE[t|x])2|x]=(tE[t|x])2p(t|x)dt
(1.90)(x)(t)

公式3.40推导类似

考虑式(3.37)的第一项的被积函数,对于一个特定的数据集D,它的形式为:

(3.38){y(x;D)h(x)}2

展开有

(3.39){y(x;D)ED[y(x;D)]+ED[y(x;D)]h(x)}2={y(x;D)ED[y(x;D)]}2+{ED[y(x;D)]h(x)}2+2{y(x;D)ED[y(x;D)]}{ED[y(x;D)]h(x)}

再在D上求期望

其中3.39中的
第一项求期望后
ED[{y(x;D)ED[y(x;D)]}2],
第二项求期望后
ED[{ED[y(x;D)]h(x)}2],h(x)D={ED[y(x;D)]h(x)}2
第三项求期望后
ED[2{y(x;D)ED[y(x;D)]}{ED[y(x;D)]h(x)}]=0
ED[2{y(x;D)ED[y(x;D)]}]=2ED[y(x;D)ED[y(x;D)]=0

(3.40)ED[{y(x;D)h(x)}2]={ED[y(x;D)]h(x)}2(偏置 )2+ED[{y(x;D)ED[y(x;D)]}2]方差 

posted @   筷点雪糕侠  阅读(201)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
点击右上角即可分享
微信分享提示