probability and likelihood

　　假设有一个随机过程(stochastic process)产生离散值(例如，扔10次硬币的结果，10分钟内到达商店的客户数量）。在这些例子中，我们可以对特定的随机过程做出合适的假设，来计算一组特定结果的概率（例如，硬币人先着地的概率为p,并且每次扔硬币时独立的)。

　　使用O来表示每次观察到的结果，θ表示描述这一随机过程的变量集合。因此，当我们说概率(probability）,我们希望计算P(O|θ)。即，给定特定的值θ，P(O|θ)就是我们可能获得O结果的概率。然后，当我们对一个生活中真实的随机过程建模时，我们通常不知道θ。我们仅有结果数据O,因此目标则变为在已知结果O的情况下预测θ，达到似乎合理(plausible）的选择。

　　我们又知道在已知变量的情况下O的概率为P(O|θ)，因此，一个自然的预测过程就是选择一个θ的值，最大化我们实际获得O。即，我们找到变量值θ来最大化函数

L(θ|O)=P(O|θ)，L(θ|O)被称作最大似然函数。似然函数已知O为条件，是未知变量θ的函数

　　在连续随机变量中，我们不能直接对概率函数进行估计，需要对概率密度函数进行估计。