Probability theory
1.Probability mass functions (pmf) and Probability density functions (pdf)
pmf 和 pdf 类似,但不同之处在于所适用的分布类型
PMF -> <font color='green'>discrete distributions</font>, while pdf -> <font color='green'>continuous distributions</font>
例如:
pmf: if P(X=5) = 0.2,则随机变量等于5时的概率是0.2
(pmf非负且sum等于1)
但是pdf就不能这么说了,因为pdf定义在point上,而他的Probability却定义在积分上,即:$$\int_A^Bf(x)dx \quad \textrm{and} \quad X\in [A,B] $$
若$A=B$则积分为0,给定点的"概率"永远是0。
因为我们只要确保积分后的结果是合法的概率值就可以,所以pdf可以大于1(离散分布就不可以了),但是pdf必须非负且积分区间是$(-\infty, +\infty)$
2.Cumulative Distribution Funtions
CDF是累积分布函数
$F(c) = P(X<c);\textrm{F is the CDF}$
离散分布:
$F(c) = \sum_{-\infty}^c p(c)$
连续分布:
$F(c) = \int_{-\infty}^c f(x)dx$
3.likelihood function
在统计学中,Likelihood function似然函数是一个带参数的统计模型函数,所谓统计模型statistical model就是$(S,P)$,其中S是可能的观测结果集合,例如,样本空间,P则是基于S的概率分布,也就是S中事件发生的概率。似然函数可以用来做参数估计,在英语单词中likelihood和probability可近似使用,非正式语境下为同义词。但在统计学上是有差别的。
probability:给定参数,描述事件结果的函数。e.g.如果一个硬币抛十次,每次正面朝上的probability是多少?
likelihood:给定结果,描述带参数的函数。e.g.如果一个硬币抛了十次,有十次正面朝上,likelihood是什么?
定义:
$$\ell(\theta|x) = P(x|\theta)$$
解释:The likelihood of a set of parameter values, θ, given outcomes x, is equal to theprobability of those observed outcomes given those parameter values.
似然函数依据变量是离散的还是连续的可分为如下:
Discrete probability distribution:$\ell(\theta|x) = p_{\theta}(x)=P_{\theta}(X=x)$
Continuous probability distribution:$\ell(\theta|x)=f_\theta(x)$
这里面需要注意到是似然函数是参数$\theta$的函数,x是常量,大写的$X$是随机“变量”,小写的$x$是常量(给定的值)。可以这样理解,在现有模型下,x是一次实验的观测结果。对于$f(x|\theta)$,如果把它看成x固定,则是一个pdf,如果把他看成x固定,则是likelihood function.但不能理解成条件概率,因为$\theta$不是随机变量,只是参数。所以大多情况下,会写成$P(X=x;\theta)$以作区别。
总结:PMF and PDF are almost the same, but one is for discrete distributions and one is for continuous distributions. CDF are different, but are the sum/integral of PMF/PDF and tell us **the probability that X is less than a certain value**.
参考资料:https://www.quora.com/What-is-the-relationship-between-the-probability-mass-density-and-cumulative-distribution-functions