【概括性记录/讲解】信息矩阵、Hessian矩阵、协方差的逆

1|0在最大后验估计中如果分布为高斯分布信息矩阵 = 协方差的逆

多元变量x
x又两部分组成：

它的协方差矩阵为：

其中：

它的信息矩阵就是协方差矩阵的逆：

作用：便于计算边界概率和条件概率但边际概率对于协方差矩阵的操作是很容易的，但不好操作信息矩阵。条件概率恰好相反，对于信息矩阵容易操作，不好操作协方差矩阵。

2|0Hessian矩阵在最大似然问题中（MLE）约等于信息矩阵

直接反映到最小二乘的问题上：

这里的 H 也被称为信息矩阵个人理解这个信息矩阵和上一个信息矩阵虽然叫一个名但是可以理解成两个东西
这里信息矩阵的作用：分析残差矩阵的稀疏性进行下一步的计算也可以用作滑动窗口算法的的分析

3|0最大后验、最大似然、最小二乘

最大似然和最小二乘同为求最优参数的方法当分布为高斯分布时二者形式上近似相同但思想上完全不同
最小二乘：构建误差和通过调整参数使得误差之和最小当误差最小时认为获得了最优参数值
最大似然：前提是知道概率密度函数求概率密度之和通过调整参数得到最大概率当得到最大概率时即认为获得最优参数值
最大后验即比最大似然多了一项先验
实际应用中大部分使用的为最大似然

__EOF__

本文作者：铃灵狗的水墨书香
本文链接：https://www.cnblogs.com/linglingdog/p/15990036.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！