随笔分类 - 统计学
摘要：最大熵模型（maximum entropy model）是由最大熵原理推导实现的。最大熵原理是在满足约束条件的模型集合中给出最优模型选择的一个准则。 1 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约
阅读全文
摘要：EM 算法是一种迭代算法，1977 年由 Dempster 等人总结提出，用于含隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM 算法的每次迭代由两步组成：E 步，求期望（expectation）; M 步，求极大（maximization）。所以这一算
阅读全文
摘要：蒙特卡罗法（Monte Carlo method），也称为统计模拟方法（statistical simulation method），是通过从概率模型的随机抽样进行近似数值计算的方法。蒙特卡罗来自于一个著名赌场的名字。 马尔科夫链蒙特卡罗法（Markov Chain Monte Carlo, MCM
阅读全文
摘要：Q-Q（Quantile-Quantile）图是用来判断两个数据集是否来自相同的分布，比如正态分布、均匀分布。如下图： Q-Q 图 from sklearn.datasets import load_iris import matplotlib.pyplot as plt import seabor
阅读全文
