如何给出Bayesian Estimation模型W的分布?
Bayesian Estimation如何给出模型W的分布?
坑
W是一个列向量;
现在的理解:
1、Bayesian Estimation和(Maxium Likehood Estimation、Maxium a Posteri Estimation)不一样,前者能够给出模型参数的分布,后者只能给出模型参数的点估计;
2、极大似然(MLE)是从样本出发,通过调整模型的参数,使得所有样本出现的可能性最大。而贝叶斯是从模型出发,已知样本的前提下,模型参数的分布是如何?我认为,两者唯一的相同点都是概率框架下的模型。其他的都不一样。
3、知乎上有人说:在贝叶斯估计方法下,如果将参数θ的先验分布设为均匀分布,则最大化后验概率等价于最大化似然概率。
4、我想了想之后,觉得3是对的:首先,MAP是贝叶斯估计的特例。MLE和MAP确实有很大相似之处。都是通过调整模型的参数,使得所有样本出现的可能性最大。但MLE中,每个模型参数都是等概率的;而MAP的模型参数服从某个先验分布。所以从这个角度看,MLE可以理解为是MAP的一种特例;
5、但是,Bayesian Estimation的目标是给出模型参数w的分布,而不是某个具体的值。回到本博客问题本身?如何给出这样的后验分布呢P(W|D)?
坑↓
但在贝斯估计中,我们不知道模型长什么样,也不知道模型参数是什么。我们做的就是,来了一个新样本,请问这个样本属于正样本、负样本的可能性有多大?哪个大就输出哪个。如何找到这样的模型h(x)呢?以最小化损失函数为桥梁,过渡到最小化后验概率。再通过贝叶斯定义,过渡到统计正样本的概率P(+)和P(x|+)【正样本中x出现的可能性】。由于x的维度非常高,P(x|+)基本趋近于0(可以这样理解,我手上的样本根本就没有见过x)。那怎么办嘛。来一个假设,假设样本的各个维度是独立,P(x|+)≈P(x_d1|+)P(x_d2|+)...P(x_dn|+)。P(x_d1|+)对于正样本来说是好统计的,以此类推。新来一个样本x,我们就能基于手上的样本,给出一个它属于正样本的概率了。
填坑↑
那么问题又来了,MCMC是干什么用的?