我们能从后验分布中学到什么?贝叶斯后验的频率解释
假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, ... , xN)。统计学中的一个典型问题是“样本集 X 能告诉我们关于分布 q 的什么信息?”。
参数统计方法假设 q 属于一个参数分布族,并且存在一个参数 θ,其中 q(x) 等于所有 x 的参数分布 p(x|θ);例如,p(.|θ) 可以是具有单位方差的正态分布,其中 θ 表示平均值。在这种情况下,问题是“X 告诉我们关于 q 的什么?”或者说“如果我们有 q = p(.|θ) 的参数 θ,X 告诉我们什么呢?”。
回答这个问题的贝叶斯方法是使用概率论规则并假设 θ 本身是具有先验分布 p(θ) 的随机变量。先验分布 p(θ) 是我们在观察任何样本之前对 θ 的假设和猜测的形式化。在这种前提下,我们可以将参数和数据的联合概率分布写在一起:
利用这个公式,X捕捉到的关于θ的所有信息都可以总结为后验分布
贝叶斯统计是自洽且优雅的:一切都可以使用概率论的规则自然推导出来的,而且假设总是明确且清晰的。但是它通常看起来很神秘和令人费解:(i)我们能从后验分布 p(θ|X) 中真正学到什么关于底层分布 q 的信息?还有(ii)如果我们的假设不成立,例如,如果 q 不属于我们考虑的参数族,该信息的可靠性如何?
在这篇文章中,我们将对这两个问题进行解释。分析样本数量 N 很大时后验分布的渐近形式——这是研究贝叶斯推理的常用方法。然后,我展示了一般理论如何适用于高斯族的简单情况。最后,在三个案例研究中,我使用模拟和分析,后验分布如何与数据的底层分布相关,以及随着N的增加,这个链接如何变化。¹。
完整文章:
https://avoid.overfit.cn/post/64a7c99a768c44c7842c8c9c8b2e13d4