理解先验概率后验概率似然函数

理解一下这些基础知识

先验概率（prior probability）

是指根据以往经验和分析得到的概率，如全概率公式，它往往作为 "由因求果" 问题中的 "因" 出现的概率。

在贝叶斯统计中，先验概率分布，即关于某个变量

先验概率仅仅依赖于主观上的经验估计，也就是事先根据已有的知识的推断。例如，

后验概率(Posterior probability)

后验概率是指在得到 “结果” 的信息后重新修正的概率，是 “执果寻因” 问题中的 "果"。

事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。

后验概率是关于随机事件或者不确定性断言的条件概率，是在相关证据或者背景给定并纳入考虑之后的条件概率。后验概率分布就是未知量作为随机变量的概率分布，并且是在基于实验或者调查所获得的信息上的条件分布。“后验” 在这里意思是，考虑相关事件已经被检视并且能够得到一些信息。

后验概率是关于参数

我们用

举个例子：

比如，你刚去北京的时候，查了下北京历年来的天气情况，北京下雨的概率是多少，你就经验性的给了一个。这就是先验。
等你今天要出门的时候，你发现下雨了，于是你开始想，下雨前，有没有打雷尼？你开始猜测有多大的可能性打雷了，既然已经有了下雨的结果，对一些征兆发生的可能性做预测，这就是似然概率。
等下了班回去，你发现居然又打雷了，你开始想会不会下雨啊，于是根据观察数据，预测结果的概率，也就是后验。

似然函数likelihood (function)

区别：

先看似然函数的定义，它是给定联合样本值 $\textbf{x}$ 下关于 (未知) 参数 $\theta$ 的函数： $L(\theta | \textbf{x}) = f(\textbf{x} | \theta)$

这里的小 $\textbf{x}$ 是指联合样本随机变量 $\textbf{X}$ 取到的值，即 $\textbf{X} = \textbf{x}$ ；这里的 $\theta$ 是指未知参数，它属于参数空间；

这里的 $f(\textbf{x}|\theta)$ 是一个密度函数，特别地，它表示 (给定) $\theta$ 下关于联合样本值 $\textbf{x}$ 的联合密度函数。

所以从定义上，似然函数和密度函数是完全不同的两个数学对象：前者是关于 $\theta$ 的函数，后者是关于 $\textbf{x}$ 的函数。所以这里的等号 $=$ 理解为函数值形式的相等，而不是两个函数本身是同一函数 (根据函数相等的定义，函数相等当且仅当定义域相等并且对应关系相等)。

联系：

如果 $\textbf{X}$ 是离散的随机向量，那么其概率密度函数 $f(\textbf{x} | \theta)$ 可改写为 $f(\textbf{x} | \theta) = \mathbb{P}_\theta(\textbf{X} = \textbf{x})$ ，即代表了在参数 $\theta$ 下随机向量 $\textbf{X}$ 取到值 $\textbf{x}$ 的可能性；并且，如果我们发现

$L(\theta_1 | \textbf{x} ) = \mathbb{P}_{\theta_1}(\textbf{X} = \textbf{x}) > \mathbb{P}_{\theta_2}(\textbf{X} = \textbf{x}) = L(\theta_2 | \textbf{x})$

那么似然函数就反应出这样一个朴素推测：在参数 $\theta_1$ 下随机向量 $\textbf{X}$ 取到值 $\textbf{x}$ 的可能性大于 在参数 $\theta_2$ 下随机向量 $\textbf{X}$ 取到值 $\textbf{x}$ 的可能性。换句话说，我们更有理由相信 (相对于 $\theta_2$ 来说) $\theta_1$ 更有可能是真实值。这里的可能性由概率来刻画。

连续情况也差不多，如果 $\textbf{X}$ 是连续的随机向量，那么其密度函数 $f(\textbf{x} | \theta)$ 本身（如果在 $\textbf{x}$ 连续的话）在 $\textbf{x}$ 处的概率为 0，为了方便考虑一维情况：给定一个充分小 $\epsilon > 0$ ，那么随机变量 $X$ 取值在 $(x - \epsilon, x + \epsilon)$ 区间内的概率即为

$\mathbb{P}_\theta(x - \epsilon < X < x + \epsilon) = \int_{x - \epsilon}^{x + \epsilon} f(x | \theta) dx \approx 2 \epsilon f(x | \theta) = 2 \epsilon L(\theta | x)$

并且两个未知参数的情况下做比就能约掉 $2\epsilon$ ，所以和离散情况下的理解一致，只是此时似然所表达的那种可能性和概率 $f(x|\theta) = 0$ 无关。

综上，概率 (密度) 表达给定 $\theta$ 下样本随机向量 $\textbf{X} = \textbf{x}$ 的可能性，而似然表达了给定样本 $\textbf{X} = \textbf{x}$ 下参数 $\theta_1$ (相对于另外的参数 $\theta_2$ ) 为真实值的可能性。我们总是对随机变量的取值谈概率，而在非贝叶斯统计的角度下，参数是一个实数而非随机变量，所以我们一般不谈一个参数的概率。

最后我们再回到 $L(\theta | \textbf{x}) = f(\textbf{x} | \theta)$ 这个表达。首先我们严格记号，竖线 $|$ 表示条件概率或者条件分布，分号 $;$ 表示把参数隔开。所以这个式子的严格书写方式是 $L(\theta | \textbf{x}) = f(\textbf{x} ; \theta)$ 因为 $\theta$ 在右端只当作参数理解。