PRML-2.4 指数族分布

1.指数族分布的标准形式

$p(x|\eta) = h(x)g(\eta)exp\{\eta^Tu(x)\}$
$B站白板推导也有一个指数族分布标准形式，两者是等价的$
$p(x|\eta) = h(x)exp\{\eta^T\phi(x)- A(\eta)\}$
$这里的u(x)=\phi(x),g(\eta)=\frac{1}{exp\{A(\eta)\}}$
$\eta^T是一个向量,自然的u(x)=\phi(x)也是一个向量函数,A(\eta)是$log partition function,加上对数的配分函数和归一化相关

2.正态分布转化为指数族分布的标准形式

PRML书上还展示了一个伯努利分布转为指数族分布的例子，这里介绍正态分布的转化例子，B站白板推导也有这部分
$p(x|\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}exp\{-\frac{1}{2\sigma^2}(x-\mu)^2\}$
转化为指数族分布形式
$\eta=\begin{pmatrix} \eta_1\\ \eta_2\\ \end{pmatrix} =\begin{pmatrix} \frac{\mu}\\ {-\frac{1}{2\sigma^2}}\\ \end{pmatrix}$
$u(x)=\phi(x)=\begin{pmatrix} x \\ x^2 \end{pmatrix}$
$g(\eta)=(-2\eta_2)^{\frac{1}{2}}exp(\frac{\eta_1^2}{2\eta_2})$

2.指数族分布的性质

2.1对$\eta$进行最大似然估计

指数族分布的标准形式
$p(x|\eta) = h(x)g(\eta)exp\{\eta^Tu(x)\}$
因为是pdf函数，所有积分=1
$\int_x p(x|\eta) = \int_x h(x)g(\eta)exp\{\eta^Tu(x)\}dx =g(\eta)\int_x h(x)exp\{\eta^Tu(x)\}dx =1$
式子
$g(\eta)\int_x h(x)exp\{\eta^Tu(x)\}dx$ 对$\eta$求导=0 求最大$\eta$,$\color{red}{中文版这里写错了}$
$\nabla g(\eta)\int h(x)exp\{\eta^T\mu(x)\}dx + g(\eta)\int h(x)exp\{\eta^T\mu(x)\} \mu(x) dx=0$
$在代入公式 g(\eta)\int_x h(x)exp\{\eta^Tu(x)\}dx =1$
$得到-\frac{1}{g{\eta}}\nabla g(\eta) =g(\eta)\int h(x)exp\{\eta^T\mu(x)\} \mu(x) dx =\mathbb{E}[u(x)]$
$最后有-\nabla ln g(\eta) =\mathbb{E}[u(x)]$
$也就是说有了充分统计了u(x)的均值就能得到指数族分布参数\eta的最优解$

这是B站的推导

二阶导是方差，方差>0，所有A是个凸函数

---

$上面是最优\eta的推导，如果给定了一组数据X=\{x_1,x_2,...,X_N\},这时候求\eta的最优解就是求\eta的最大似然解,虽然两个结论非常近似，但是推导过程不一样,一个是直接求导，得到的是\eta 和 u(x)之间的关系，一个是通过似然函数(所有样本的累乘)，再求导，得到最大似然解\eta$
$下面是最大似然估计值\eta_{MLE}的解析式,注意这里的\eta_{MLE}已经是个实实在在存在的一个数了，上面\eta最优解还是一个变量$

B站对最大似然函数的推导

2.2 共轭先验

关于共轭先验的知识本博客其他章节已经详述，这里不再重复了
共轭先验的优点是先验和后验是同一个分布(对于某个统计量而言)，通过假设一个和后验一样的先验可以计算方便，但是这个假设有点强

2.3 最大熵的角度看指数族分布

B站的这一章节，第一个视频不详述了，一个简单的结论，熵最大的分布是均匀分布
第二个视频对最大熵模型做了推导
这是最大熵模型对应的优化问题，是一个有约束的优化问题，$\Delta$代表是一个常数，要求最大熵模型的均值和经验分布的均值是一致的


然后解这个最优化问题

最后结论，在最大熵模型下，使得熵最大的分布是指数族分布，刚一看有点惊讶，但其实PRML书中已经有了相关说明,在P43，公式1.109下面
最大化微分熵的分布是高斯分布

3.指数族分布的应用场景

广义线性模型
--线性组合 $w^Tx$
--link function这是激活函数的反函数
--指数族分布:$y|x \sim 指数族分布,比如线性回归：噪声 y|x \sim N,分类 y|x \sim 伯努利分布$
概率图模型
--无向图:RBM
变分推断
--如果是指数族分布，可以简化变分推断