摘要： 1.引言假如你经营着一家网店，里面卖各种商品（Items）,有很多用户在你的店里面买过东西，并对买过的Items进行了评分，我们称之为历史信息，现在为了提高销售量，必须主动向用户推销产品，所以关键是要判断出用户除了已经买过的商品之外还会喜欢哪些商品，这就需要利用用户购买商品过程产生的历史信息。协同过... 阅读全文

摘要： 1.引言用计算机实现两个比较小的数相乘不是一件难事，但是当两个数很大，比如11111987654321和55443322111相乘，由于计算机的精度是有限的，所以用编程语言提供的原子数据类型来直接完成这两个大数的乘法显然不切实际。2.运用数组运用两个数组分别存储两个大数的每一位，这样首先解决了大数的... 阅读全文

摘要： 1. 关于ID3和C4.5的原理介绍这里不赘述，网上到处都是，可以下载讲义c9641_c001.pdf或者参考李航的《统计学习方法》.2. 数据与数据处理本文采用下面的训练数据：数据处理：本文只采用了"Outlook", "Humidity", "Windy"三个属性，然后根据Humidity的值是... 阅读全文

摘要： 1. 引言与PCA类似，Independent Components Analysis（ICA）同样是要找到一组新基去表示数据。但是目标大不相同。为了阐述动机，举一个例子，考虑“鸡尾酒会问题”。在酒会上，有 n 个演讲者同时讲话，房间里面的每一个麦克风都会记录所有演讲者声音混合起来的音频，但是由于每... 阅读全文

摘要： 在因子分析(Factor analysis)中，介绍了一种降维概率模型，用EM算法（EM算法原理详解）估计参数。在这里讨论另外一种降维方法：主元分析法(PCA)，这种算法更加直接，只需要进行特征向量的计算，不需要用到EM算法。 假设数据集表示 m 个不同类型汽车的属性，比如最大速度，转弯半径等... 阅读全文

摘要： 1.引言在高斯混合和EM算法中，我们运用EM算法拟合混合模型，但是我们得考虑得需要多少的样本数据才能准确识别出数据中的多个高斯模型！看下面两种情况的分析：第一种情况假如有 m 个样本，每个样本的维度是 n, 如果 n»m, 这时哪怕拟合出一个高斯模型都很困难，更不用说高斯混合, 为什么呢? 这和解... 阅读全文

摘要： 1.引言以前我们讨论的概率模型都是只含观测变量(observable variable), 即这些变量都是可以观测出来的，那么给定数据，可以直接使用极大似然估计的方法或者贝叶斯估计的方法；但是当模型含有隐变量(latent variable)的时候, 就不能简单地使用这些估计方法。如在高斯混合和EM... 阅读全文

摘要： 尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识 阅读全文

摘要： 一、引言最近写了许多关于机器学习的学习笔记，里面经常涉及概率论的知识，这里对所有概率论知识做一个总结和复习，方便自己查阅，与广大博友共享，所谓磨刀不误砍柴工，希望博友们在这篇博文的帮助下，阅读机器学习的相关文献时能够更加得心应手！这里只对本人觉得经常用到的概率论知识点做一次小结，主要是基本概念，因为... 阅读全文

摘要： 首先介绍高斯混合模型：高斯混合模型是指具有以下形式的概率分布模型：一般其他分布的混合模型用相应的概率密度代替（1）式中的高斯分布密度即可。给定训练集，我们希望构建该数据联合分布这里，其中是概率，并且，用表示可能的取值。因此，我们构建的模型就是假设是由生成，而是从中随机选择出来的，那么就服从个依赖于的... 阅读全文