概率估计方法

概率估计方法#

在实践中,概率分布通常是未知的,如何从样本中识别出潜在的概率分布是统计估计。

  • 参数方法

    • 极大似然估计MLE
    • 最大化后验估计MAP
  • 非参数方法

    • 直方图方法

    • 核密度估计KDE

    • 最近邻密度估计NNDE

两种观点(关于参数方法θ#

假设我们有一个样本数据集合D={X1,X2,,Xn},其中每个样本Xi=(x1i,x2i,,xmi)都是从一个未知分布p(X;θ)中独立地抽取得到的。我们要通过这些样本数据,估计出这个未知分布的某些参数θ=(θ1,θ2,,θb)

频率派和贝叶斯派是概率统计学中两个主要的派别,它们对于统计推断的基本假设和方法有不同的观点。

  • 频率派认为,概率是事件在长期重复试验中出现的频率,因此概率是客观存在的,不依赖于任何主观假设。在频率派的框架下,统计推断的目标是从样本中推断出总体的未知参数,并通过置信区间和假设检验等方法对统计结论进行评估。频率派的方法通常基于假设检验和置信区间,强调的是样本的规模和可靠性,而不考虑先验知识和主观因素。

  • 贝叶斯派则认为,概率是在已知先验知识的情况下,根据新的数据更新后验概率的一种度量。因此,贝叶斯派方法强调的是先验知识和主观因素的重要性。在贝叶斯派的框架下,统计推断的目标是基于已知的数据和先验知识,推断出未知参数的后验分布,并通过后验分布的点估计和区间估计等方法对统计结论进行评估。

一般来说p(X;θ)结构是给定的,例如假设p为高斯分布,θ就是μ,Σ;假设p为一个神经网络模型,θ就是所有神经网络参数

1. 频率派观点(参数θ是未知常量)#

极大似然估计(Maximum Likelihood Estimation,简称MLE)是一种常用的参数估计方法。其基本思想是在给定观测数据的情况下,寻找一个能够最大化样本似然函数的参数值,作为总体参数的估计值。

对于给定的样本数据,我们可以计算出其似然函数 L(θ),它表示在给定参数 θ 的情况下,这个样本数据出现的概率密度函数值的乘积。

L(θ)=i=1np(Xi;θ)

其中 Xi 表示样本数据中的第 i 个样本观测值。

MLE的核心思想就是在所有可能的参数取值中,寻找一个能够最大化似然函数 L(θ) 的参数 θ^MLE,此时的密度估计p(X;θ^MLE),即:

θ^MLE=argmaxθL(θ)=argmaxθlogL(θ)=argmaxθlogi=1np(Xi;θ)=argmaxθi=1nlogp(xi;θ)

简单情况下,如果L(θ)可微,我们会使用数值优化方法来求解上式,以找到最大化对数似然函数的参数 θ^MLE。求解的方法是直接对对数似然函数求导,并令其等于 0,得到:

θlogL(θ)=i=1nθlogp(Xi;θ)=0

极大似然估计可能存在多个估计值,这时需要根据具体情况选择最优的估计值。另外,极大似然估计也可能出现无解或者不稳定的情况,需要进行额外的处理或者使用其他的估计方法。

MLE具有良好的渐进性质,当样本量充分大时,MLE的估计结果具有一致性渐进无偏性渐进正态性渐进有效性等性质。

参数计算:梯度下降、EM算法

模型选择:KL散度、AIC信息论准则(大样本)、交叉检验

2. 贝叶斯派观点(参数θ是随机变量)#

在贝叶斯统计学中,参数的估计是通过后验概率分布来实现的,θp(θ)。在给定数据集 D 的情况下,参数 θ 的后验概率分布可以表示为:

p(θ|D)=p(D|θ)p(θ)p(D)

其中,p(D|θ) 表示数据集 D 在给定参数 θ 的条件下的似然函数,p(θ) 表示参数 θ 的先验分布,p(D) 表示数据集 D 的边缘概率分布。

  • 先验分布:贝叶斯统计学中,将参数视为随机变量,引入了先验分布用于描述参数的不确定性信息。先验分布可以是任何概率分布,通常是基于领域知识或历史数据来选择的。

  • 后验概率分布:在贝叶斯统计学中,参数的估计不再是一个点估计值,而是一个后验概率分布。后验概率分布表示参数在给定数据的情况下的不确定性,它可以用于计算置信区间、预测区间等信息。

  • 边缘概率分布:在贝叶斯统计学中,边缘概率分布是指在所有可能参数值上的联合概率分布的积分,边缘概率分布是计算后验概率分布时的归一化常数,通常可以通过数值积分或MCMC等方法进行计算。

p(D)=p(D,θ)dθ=p(D|θ)p(θ)dθ=i=1np(Xi;θ)p(θ)dθ

  • 贝叶斯因子:贝叶斯因子是用于比较两个模型相对拟合数据的相对证据的指标。贝叶斯因子等于两个模型的边缘概率分布的比值,即:

BFij=p(D|Mi)p(D|Mj)

其中,MiMj 分别表示两个模型,p(D|Mi)p(D|Mj) 分别表示数据集 D 在模型 MiMj 下的边缘概率分布。当 BFij 大于1时,说明模型 Mi 比模型 Mj 更能解释数据。

贝叶斯预测分布(Bayesian predictive distribution)是贝叶斯统计学中的一个概念,它描述了基于已知数据和模型参数的情况下,对未知数据的预测分布。贝叶斯预测分布是一种计算密度的方法,即计算参数模型p(X|θ)在后验概率p(θ|D)上的期望。

p^Bayes(X)=p(X|θ)p(θ|D)dθ=p(X|θ)p(D|θ)p(θ)p(D)dθ=p(X|θ)i=1np(Xi;θ)p(θ)i=1np(Xi;θ)p(θ)dθdθ

如果参数模型p(X|θ)和先验概率p(θ)是给定的,那贝叶斯推测分布原理上可以不通过任何学习计算出来,然而,如果θ的维数过高,那么上面两个积分式计算起来会很复杂。因此,在贝叶斯推理中一个主要的技术问题是如何高效地处理高维积分。

为了简单地处理上面的积分,解析地获得后验概率 p(θ|D)是一种好方式。一种可能的方式是手动选择先验概率p(θ),然后就可以清楚地得到后验概率p(θ|D)的参数形式。另一种可能的方式是求积分式的解析近似。此外还有方法就是直接使用后验概率求单点的p(θ|D),即最大化后验估计。

最大化后验概率 (Maximum a posteriori estimation,MAP) 是另一种一种常用的参数估计方法,它的本质是在贝叶斯统计学框架下,使用后验概率最大化来确定参数的点估计值。在 MAP 方法中,通过最大化后验概率 p(θ|D) 来确定参数的点估计值。如果样本是独立同分布的取出来的,计算公式为

θ^MAP=argmaxθp(θ|D)=argmaxθp(D|θ)p(θ)=argmaxθi=1np(Xi;θ)p(θ)=argmaxθi=1nlogp(Xi;θ)+logp(θ)

此时的密度估计p(X;θ^MAP)。前一项就是MLE,后一项是正则化项,因此MAP也被称为修正的极大似然估计。

模型选择:在贝叶斯推理里面先验概率决定了贝叶斯推理的解,即p(θ;β)

3. 总结比较#

各种都在想尽办法计算p(X)

  • 第一种方式是p(X;θ),其中θ是计算出来的常量,例如θ^MLEθ^MAP
  • 第二种方式是p(X|D),即贝叶斯预测分布

频率派--->统计机器学习--->优化问题--->(损失函数是什么;优化算法是什么)

贝叶斯派--->概率图模型--->积分问题和概率计算--->(精确计算;近似计算)

作者:JiJunhao

出处:https://www.cnblogs.com/jijunhao/p/17364244.html

版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。

posted @   季俊豪  阅读(245)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~
more_horiz
keyboard_arrow_up dark_mode palette
选择主题
menu
点击右上角即可分享
微信分享提示