PRML读书笔记_绪论曲线拟合部分

一、最小化误差函数拟合##

正则化( regularization )技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。这推导出了误差函数的修改后的形式:


在效果上, λ 控制了模型的复杂性,因此决定了过拟合的程度。

二、贝叶斯曲线拟合##

1.正态分布( normal distribution )或者高斯分布( Gaussian distribution )###

对于一元实值变量 x ,高斯分布被定义为:

它由两个参数控制:μ ,被叫做均值( mean ),以及σ2 ,被叫做方差( variance )。方差的平方根,由 σ 给定,被叫做标准差( standard deviation )。方差的倒数,记作 β=1σ2 ,被叫做精度( precision )。
D 维向量 x 的高斯分布:

2.曲线拟合###

曲线拟合问题的目标是能够根据 N 个输入 x=(x1,...,xN)T 组成的数据集和它们对应的目标值 t=(t1,...,tN)T ,在给出输入变量 x 的新值的情况下,对目标变量 t 进行预测。
对应的 t 值服从高斯分布,分布的均值为 y(x, w) ,有:

图形化表示:

用训练数据x,t ,通过最大似然方法,来决定未知参数 w 和 β 的值,然函数为:

对数似然函数:

求其最大值就可以求得w。进一步确定精度参数 β:

posted @   narjaja  阅读(229)  评论(0编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期(2025年3.1-3.9)
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
点击右上角即可分享
微信分享提示