摘要:
Metropolis Hasting Algorithm:MH算法也是一种基于模拟的MCMC技术,一个很重要的应用是从给定的概率分布中抽样。主要原理是构造了一个精妙的Markov链,使得该链的稳态是你给定的概率密度。它的好处,不用多说,自然是可以对付数学形式复杂的概率密度。有人说,单维的MH算法配上Gibbs Sampler几乎是“无敌”了。今天试验的过程中发现,MH算法想用好也还不简单,里面的转移参数设定就不是很好弄。即使用最简单的高斯漂移项,方差的确定也是个头疼的问题,需要不同问题不同对待,多试验几次。当然你也可以始终选择“理想”参数。还是拿上次的混合高斯分布来做模拟,模拟次数为50000 阅读全文
2011年1月16日
2010年11月18日
摘要:
Newton-Raphson算法在统计中广泛应用于求解MLE的参数估计。对应的单变量如下图:多元函数算法:Example:(implemented in R)#定义函数f(x)f=function(x){ 1/x+1/(1-x)}#定义f_d1为一阶导函数f_d1=function(x){ -1/x^2+1/(x-1)^2}#定义f_d2为二阶导函数f_d2=function(x){ 2/x... 阅读全文
2010年11月16日
摘要:
今天看到一种新的Sampling技术,颇为兴奋。配上adaptive rejection sampling, Gibbs抽样就可以“无敌”了。大致说说Slice sampling的算法:我们想从一个密度分布为f(x)的函数中抽样初始化:任意选择x0,步长wfor i= 1:n固定xi,在[0,f(xi)]区间上均匀抽样,得到yi固定yi,在函数值大于yi的x区间({x: f... 阅读全文
2010年11月11日
摘要:
顾名思义,这门课是研究测度(measure)的。测度是什么?测度是由长度,面积这样的几何概念延伸而来。通俗的说,它是一种用来度量集合大小的测量工具。在实变函数中,我们研究的是具体的全集oegma为R^n上的集合的测度,即Lebesgue测度。但是在实际中,全集omega可能是抽象的,所以就有需要建立测度论这样一门抽象的学科,总结归纳各种具体的、抽象的测度、其上的空间以及空间之间的映射。 测度是一个... 阅读全文
2010年11月10日