PRML读书笔记_绪论曲线拟合部分
一、最小化误差函数拟合##
正则化( regularization )技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。这推导出了误差函数的修改后的形式:
在效果上, λ 控制了模型的复杂性,因此决定了过拟合的程度。
二、贝叶斯曲线拟合##
1.正态分布( normal distribution )或者高斯分布( Gaussian distribution )###
对于一元实值变量 x ,高斯分布被定义为:
它由两个参数控制: ,被叫做均值( mean ),以及 ,被叫做方差( variance )。方差的平方根,由 给定,被叫做标准差( standard deviation )。方差的倒数,记作 ,被叫做精度( precision )。
D 维向量 x 的高斯分布:
2.曲线拟合###
曲线拟合问题的目标是能够根据 N 个输入 组成的数据集和它们对应的目标值 ,在给出输入变量 x 的新值的情况下,对目标变量 t 进行预测。
对应的 t 值服从高斯分布,分布的均值为 y(x, w) ,有:
图形化表示:
用训练数据 ,通过最大似然方法,来决定未知参数 w 和 β 的值,然函数为:
对数似然函数:
求其最大值就可以求得。进一步确定精度参数 :
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· C#/.NET/.NET Core技术前沿周刊 | 第 29 期(2025年3.1-3.9)
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异