概率估计方法
概率估计方法#
在实践中,概率分布通常是未知的,如何从样本中识别出潜在的概率分布是统计估计。
-
参数方法
- 极大似然估计MLE
- 最大化后验估计MAP
-
非参数方法
-
直方图方法
-
核密度估计KDE
-
最近邻密度估计NNDE
-
两种观点(关于参数方法 )#
假设我们有一个样本数据集合
频率派和贝叶斯派是概率统计学中两个主要的派别,它们对于统计推断的基本假设和方法有不同的观点。
-
频率派认为,概率是事件在长期重复试验中出现的频率,因此概率是客观存在的,不依赖于任何主观假设。在频率派的框架下,统计推断的目标是从样本中推断出总体的未知参数,并通过置信区间和假设检验等方法对统计结论进行评估。频率派的方法通常基于假设检验和置信区间,强调的是样本的规模和可靠性,而不考虑先验知识和主观因素。
-
贝叶斯派则认为,概率是在已知先验知识的情况下,根据新的数据更新后验概率的一种度量。因此,贝叶斯派方法强调的是先验知识和主观因素的重要性。在贝叶斯派的框架下,统计推断的目标是基于已知的数据和先验知识,推断出未知参数的后验分布,并通过后验分布的点估计和区间估计等方法对统计结论进行评估。
一般来说
结构是给定的,例如假设 为高斯分布, 就是 ;假设 为一个神经网络模型, 就是所有神经网络参数
1. 频率派观点(参数 是未知常量)#
极大似然估计(Maximum Likelihood Estimation,简称MLE)
是一种常用的参数估计方法。其基本思想是在给定观测数据的情况下,寻找一个能够最大化样本似然函数的参数值,作为总体参数的估计值。
对于给定的样本数据,我们可以计算出其似然函数
其中
MLE的核心思想就是在所有可能的参数取值中,寻找一个能够最大化似然函数
简单情况下,如果
极大似然估计可能存在多个估计值,这时需要根据具体情况选择最优的估计值。另外,极大似然估计也可能出现无解或者不稳定的情况,需要进行额外的处理或者使用其他的估计方法。
MLE具有良好的渐进性质,当样本量充分大时,MLE的估计结果具有一致性、渐进无偏性、渐进正态性和渐进有效性等性质。
参数计算:梯度下降、EM算法
模型选择:KL散度、AIC信息论准则(大样本)、交叉检验
2. 贝叶斯派观点(参数 是随机变量)#
在贝叶斯统计学中,参数的估计是通过后验概率分布来实现的,
其中,
-
先验分布:贝叶斯统计学中,将参数视为随机变量,引入了先验分布用于描述参数的不确定性信息。先验分布可以是任何概率分布,通常是基于领域知识或历史数据来选择的。
-
后验概率分布:在贝叶斯统计学中,参数的估计不再是一个点估计值,而是一个后验概率分布。后验概率分布表示参数在给定数据的情况下的不确定性,它可以用于计算置信区间、预测区间等信息。
-
边缘概率分布:在贝叶斯统计学中,边缘概率分布是指在所有可能参数值上的联合概率分布的积分,边缘概率分布是计算后验概率分布时的归一化常数,通常可以通过数值积分或MCMC等方法进行计算。
- 贝叶斯因子:贝叶斯因子是用于比较两个模型相对拟合数据的相对证据的指标。贝叶斯因子等于两个模型的边缘概率分布的比值,即:
其中,
贝叶斯预测分布(Bayesian predictive distribution)
是贝叶斯统计学中的一个概念,它描述了基于已知数据和模型参数的情况下,对未知数据的预测分布。贝叶斯预测分布是一种计算密度的方法,即计算参数模型
如果参数模型
为了简单地处理上面的积分,解析地获得后验概率
最大化后验概率 (Maximum a posteriori estimation,MAP)
是另一种一种常用的参数估计方法,它的本质是在贝叶斯统计学框架下,使用后验概率最大化来确定参数的点估计值。在 MAP 方法中,通过最大化后验概率
此时的密度估计为
模型选择:在贝叶斯推理里面先验概率决定了贝叶斯推理的解,即
3. 总结比较#
各种都在想尽办法计算
- 第一种方式是
,其中 是计算出来的常量,例如 - 第二种方式是
,即贝叶斯预测分布
频率派--->统计机器学习--->优化问题--->(损失函数是什么;优化算法是什么)
贝叶斯派--->概率图模型--->积分问题和概率计算--->(精确计算;近似计算)
作者:JiJunhao
出处:https://www.cnblogs.com/jijunhao/p/17364244.html
版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~