摘要：
Metropolis Hasting Algorithm:MH算法也是一种基于模拟的MCMC技术，一个很重要的应用是从给定的概率分布中抽样。主要原理是构造了一个精妙的Markov链，使得该链的稳态是你给定的概率密度。它的好处，不用多说，自然是可以对付数学形式复杂的概率密度。有人说，单维的MH算法配上Gibbs Sampler几乎是“无敌”了。今天试验的过程中发现，MH算法想用好也还不简单，里面的转移参数设定就不是很好弄。即使用最简单的高斯漂移项，方差的确定也是个头疼的问题，需要不同问题不同对待，多试验几次。当然你也可以始终选择“理想”参数。还是拿上次的混合高斯分布来做模拟，模拟次数为50000 阅读全文
2011年1月16日
2010年11月18日
摘要：
Newton-Raphson算法在统计中广泛应用于求解MLE的参数估计。对应的单变量如下图：多元函数算法：Example：（implemented in R）#定义函数f(x)f=function(x){ 1/x+1/(1-x)}#定义f_d1为一阶导函数f_d1=function(x){ -1/x^2+1/(x-1)^2}#定义f_d2为二阶导函数f_d2=function(x){ 2/x... 阅读全文
2010年11月16日
摘要：
今天看到一种新的Sampling技术，颇为兴奋。配上adaptive rejection sampling, Gibbs抽样就可以“无敌”了。大致说说Slice sampling的算法：我们想从一个密度分布为f(x)的函数中抽样初始化：任意选择x0，步长wfor i= 1:n固定xi,在[0,f(xi)]区间上均匀抽样，得到yi固定yi，在函数值大于yi的x区间（{x: f... 阅读全文
2010年11月11日
摘要：
顾名思义，这门课是研究测度（measure）的。测度是什么？测度是由长度，面积这样的几何概念延伸而来。通俗的说，它是一种用来度量集合大小的测量工具。在实变函数中，我们研究的是具体的全集oegma为R^n上的集合的测度，即Lebesgue测度。但是在实际中，全集omega可能是抽象的，所以就有需要建立测度论这样一门抽象的学科，总结归纳各种具体的、抽象的测度、其上的空间以及空间之间的映射。 测度是一个... 阅读全文
2010年11月10日
