使用TensorFlow Probability实现最大似然估计

TensorFlow Probability是一个构建在TensorFlow之上的Python库。它将我们的概率模型与现代硬件(例如GPU)上的深度学习结合起来。

极大似然估计

最大似然估计是深度学习模型中常用的训练过程。目标是在给定一些数据的情况下，估计概率分布的参数。简单来说，我们想要最大化我们在某个假设的统计模型下观察到的数据的概率，即概率分布。

这里我们还引入了一些符号。连续随机变量的概率密度函数大致表示样本取某一特定值的概率。我们将表示这个函数𝑃(𝑥|𝜃)，其中𝑥是样本的值，𝜃是描述概率分布的参数:

1. tfd.Normal(0, 1).prob(0)
3. <tf.Tensor: shape=(), dtype=float32, numpy=0.3989423>

当从同一个分布中独立抽取多个样本时(我们通常假设)，样本值𝑥1，…，𝑥𝑛的概率密度函数是每个个体𝑥𝑖的概率密度函数的乘积:

可以很容易地用一个例子来计算上面的问题。假设我们有一个标准的高斯分布和一些样本:𝑥1=−0.5，𝑥2=0和𝑥3=1.5。正如我们上面定义的那样，我只需要计算每个样本的概率密度函数，并将输出相乘。

完整文章：

https://avoid.overfit.cn/post/e604c2173f754788869c5c1332ccba6d