lijiankou

摘要： 前面介绍了主成分分析,概率主成分分析是对主成分分析在概率上的一种推广。 概率的引入,为主成分分析带来极大的好处。下面简单介绍概率主成分分析的 导出以及和主成分分析的关系。 在概率主成分分析里面，假设预测数据x是由一个隐变量z生成的,并且隐变量z以及条件概率p(x|z)均服从高斯分布。根据高斯分布的性质,x的边缘分布p(x)也服从高斯分布,因为有了概率,我们可以从全新的角度去理解主成分分析了, 在该模型中,我们有两个参数W和σ,参数可以用极大似然估计求出。 对数似然函数如下,其中上面用到了迹的循环不变性的性质。 我们忽略具体求解过程,分析一下它的解的形式,其中表示数据协方差矩阵最大的M个特征值所 阅读全文

摘要： 主成分分析是一种降维方法，主要用于数据压缩，数据可视化以及特征提取等方面。 现实中我们经常可以遇到维数很高的数据，如一张28*28的图片，可以看作维度为784。类似图片这样的高维数据，实际上各个维度之间具有高度的关联性，即维度之间并非完全独立的。通过进行主成分分析,可以将数据的主要特征提取出来,忽略非 重要特征,从而对数据进行压缩。这里的主成分代表一组规范正交基,每个基用表示,并且满足。假设X表示我们的观测数据矩阵,大小为N*D, 我们希望将其压缩到 N*M的矩阵Z。主成分分析有两种直观上的理解,并且可以 证明这两种直观理解是等价的。第一种方式,我们希望找到这样一组正交基,使得映射后的数据方差 阅读全文

摘要： 抽样算法的主要任务是找到符合给定分布的一系列样本。对于简单的分布，可以通过基本的抽样算法进行抽样。大多数分布都是不容易直接抽样的，马尔可夫链蒙特卡罗算法解决了不能通过简单抽样算法进行抽样的问题，是一种重要的实用性很强的抽样算法。马尔可夫链蒙特卡罗算法（简写为MCMC）的核心思想是找到某个状态空间的马尔可夫链，使得该马尔可夫链的稳定分布就是我们的目标分布。这样我们在该状态空间进行随机游走的时候，每个状态x的停留时间正比于目标概率。在用MCMC进行抽样的时候，我们首先引进一个容易抽样的参考分布q(x)，在每步抽样的过程中从q(x)里面得到一个候选样本y, 然后按照一定的原则决定是否接受该样本，该原 阅读全文

摘要： 在机器学习里面经常遇到推断和学习两个词，下面对其进行区分。图模型通常包括三种节点,观测变量、隐变量和参数, 分别用表示。习惯上把计算隐变量分布的过程称作推断,把对参数的后验估计称作学习。具体的,推断是指计算的过程, 而学习是计算的过程。 在上面的过程中,如果先验分布是均匀分布,那么 极大后验估计就退化成了极大似然估计。 这样的区分是有一定道理的,通常情况下,参数的个数是相对较少的, 后验分布是一个尖顶分布,因此可以用点估计。隐变量本身就是随机变量, 因此需要得到一个分布,频率派很自然的这样的理解。上面的说法在贝叶斯派里面不再成立,这是因为贝叶斯派认为 参数也是随机变量,学习也可以看成是推断, 阅读全文

摘要： 1 安装sudo apt-get install ibus ibus-clutter ibus-gtk ibus-gtk3 ibus-qt42 启用im-switch -s ibus3 相应引擎安装拼音：sudo apt-get install ibus-pinyin五笔：sudo apt-get install ibus-table-wubi4,设置ibus-setup 阅读全文

摘要： 相关向量机是一种稀疏概率模型，是一种核函数作为基函数且参数具有独立先验精度（方差）的特殊线性回归模型。相关向量机的出现弥补了支持向量机的一些不足，如提供了概率解释，不要求核函数必须是正定的，同时保留了支持向量机的一些优点，如它的解是稀疏的，运用核函数在低维空间处理高维空间的问题。相关向量机是一种线性回归模型，只是比通常的模型加了一些限制，线性模型均值如下所示： 在相关向量机里面，表示的是一个由核函数组成的向量，它的第n个元素表示一个核函数。用表示数据矩阵，它的每一行表示一个核向量, t表示对应的目标值。那么似然函数如下所示：与一般线性模型不同的是，我们对每个都给出一个相应的超参数，因此w的先. 阅读全文

摘要： 拉格朗日对偶性是解决带约束的最优化问题的方法，在实际应用中，通过拉格朗日对偶原理将原始问题转换成对偶问题，将原来不容易解决的问题转化为一个容易解决的问题，如支持向量机。原始问题假设是定义在上的连续可微函数，原始问题如下所示：引进广义拉格朗日函数那么原始问题等价于如下问题即这是因为如果约束条件不满足，即, 那么总可以找到一个使得,即在这种情况下，式(4)成立；如果,,式(4)同样成立。通过式(4)将原来的极小问题，转化为广义拉格郞日的极小极大问题。我们定义原始问题的最优值为原始问题的值。对偶问题将原始问题极小极大顺序互换后的极大极小问题称为原始问题的对偶问题,如下所示定义对偶问题的最优值为对偶问 阅读全文

摘要： 伽玛分布是统计学中的一种连续概率函数，包含两个参数a和b，其中a称为形状参数，b称为率参数，定义如下:令(尺度参数),得到伽玛分布的另一种形式，其中称为伽玛函数，是阶乘运算在实数集上的泛化，满足.伽玛分布一个重要应用就是作为共轭分布出现在很多机器学习算法中， 假设，其中是期望，是精度，并且假设期望已知， 那么N个观测值的似然函数如下：其中,该似然函数的共轭分布是伽玛分布，因此可以令伽玛分布作为的先验分布并乘以似然函数得到的后验分布规一化以后，得到另一个伽玛分布，可以看出后验分布仍然是一个伽玛分布。参考文献1 Pattern recognition and machine learning （第 阅读全文

摘要： 李航：http://research.microsoft.com/en-us/people/hangli/，是MSRA Web Search and Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性等问题的研究。曾在人大听过一场他的讲座，对实际应用的问题抽象，转化和解决能力值得学习。周志华：http://cs.nju.edu.cn/zhouzh/，是南京大学的杰青，机器学习和数据挖掘方面国内的领军人物，其好几个研究生都进入了美国一流高校如uiuc，cmu等学习和深造。周教授在半监督学习，mul 阅读全文

摘要： 一 经典教材1.Pattern Recognition and machine learning 豆瓣评分9.52.Machine Learning:A Probabilistic Perspective 豆瓣评分 9.43.统计学习方法 李航 豆瓣评分 8.54. Bayesian Reasoning and Machine Learning 豆瓣评分9.31和2是机器学习的经典教程，内容很全，值得慢慢精读，3介绍了十种常用机器学习方法，相对简练，支持向量机部分写得很精彩，可以结合1和2阅读；4还没有仔细读，编排顺序和其它区别比较大二 视频教程1.https://class.coursera 阅读全文