11 2014 档案

摘要：1. 关于ID3和C4.5的原理介绍这里不赘述，网上到处都是，可以下载讲义c9641_c001.pdf或者参考李航的《统计学习方法》.2. 数据与数据处理本文采用下面的训练数据：数据处理：本文只采用了"Outlook", "Humidity", "Windy"三个属性，然后根据Humidity的值是... 阅读全文

摘要：1. 引言与PCA类似，Independent Components Analysis（ICA）同样是要找到一组新基去表示数据。但是目标大不相同。为了阐述动机，举一个例子，考虑“鸡尾酒会问题”。在酒会上，有 n 个演讲者同时讲话，房间里面的每一个麦克风都会记录所有演讲者声音混合起来的音频，但是由于每... 阅读全文

摘要：在因子分析(Factor analysis)中，介绍了一种降维概率模型，用EM算法（EM算法原理详解）估计参数。在这里讨论另外一种降维方法：主元分析法(PCA)，这种算法更加直接，只需要进行特征向量的计算，不需要用到EM算法。 假设数据集表示 m 个不同类型汽车的属性，比如最大速度，转弯半径等... 阅读全文

摘要：1.引言在高斯混合和EM算法中，我们运用EM算法拟合混合模型，但是我们得考虑得需要多少的样本数据才能准确识别出数据中的多个高斯模型！看下面两种情况的分析：第一种情况假如有 m 个样本，每个样本的维度是 n, 如果 n»m, 这时哪怕拟合出一个高斯模型都很困难，更不用说高斯混合, 为什么呢? 这和解... 阅读全文

摘要：1.引言以前我们讨论的概率模型都是只含观测变量(observable variable), 即这些变量都是可以观测出来的，那么给定数据，可以直接使用极大似然估计的方法或者贝叶斯估计的方法；但是当模型含有隐变量(latent variable)的时候, 就不能简单地使用这些估计方法。如在高斯混合和EM... 阅读全文

摘要：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识 阅读全文

摘要：一、引言最近写了许多关于机器学习的学习笔记，里面经常涉及概率论的知识，这里对所有概率论知识做一个总结和复习，方便自己查阅，与广大博友共享，所谓磨刀不误砍柴工，希望博友们在这篇博文的帮助下，阅读机器学习的相关文献时能够更加得心应手！这里只对本人觉得经常用到的概率论知识点做一次小结，主要是基本概念，因为... 阅读全文