最大似然估计

什么是最大似然估计？

先定义几个常用的术语。

1. 什么是参数？

在统计学中，参数是指用来描述一个统计模型的未知特征或属性。这些特征可以是概率分布的位置、形状、尺度等方面的性质，也可以是用于描述数据生成过程中的固定参数。参数通常是我们感兴趣的、要从数据中推断或估计的量。

举个例子，在线性回归模型中，我们可能感兴趣的参数包括斜率和截距；在高斯混合模型中，我们可能感兴趣的参数包括各个分量的均值、方差和混合系数；在神经网络模型中，我们可能感兴趣的参数包括各个层的权重和偏置等。

因此，参数在统计学中通常是用来描述模型的未知特征或属性，它们是我们需要从数据中学习或推断的量。在点估计中，我们试图找到一个“最优”的估计值，以代表这些未知的参数。

2. 什么是模型

在统计学和机器学习中，我们通常将模型视为描述数据生成过程的一种数学表达形式。

例如，在监督学习中，我们可以将模型视为条件概率分布 。其中\(x\)是输入数据，\(y\)是输出数据（标签），\(\theta\)是模型参数。这个条件概率分布描述了给定输入\(x\)条件下输出\(y\)的概率分布。在生成模型中，我们可能会考虑一个联合概率分布 ，它描述了输入输出数据的联合分布。

所以我认为模型它描述了数据的生成方式，这和数据之间有关系。在最大似然估计中，我们试图优化模型参数，使得模型分布能够尽可能地拟合训练数据的分布，从而能够在未见过的数据上有较好的表现。