摘要：
作为Python中经典的机器学习模块，sklearn围绕着机器学习提供了很多可直接调用的机器学习算法以及很多经典的数据集，本文就对sklearn中专门用来得到已有或自定义数据集的datasets模块进行详细介绍； datasets中的数据集分为很多种，本文介绍几类常用的数据集生成方法，本文总结的所有 阅读全文
摘要：
主成分分析（principal component analysis,简称PCA）是一种经典且简单的机器学习算法，其主要目的是用较少的变量去解释原来资料中的大部分变异，期望能将现有的众多相关性很高的变量转化为彼此互相独立的变量，并从中选取少于原始变量数目且能解释大部分资料变异情况的若干新变量，达到降 阅读全文
摘要：
在获取数据，并且完成数据的清洗之后，首要的事就是对整个数据集进行探索性的研究，这个过程中会利用到各种描述性统计量和推断性统计量来初探变量间和变量内部的基本关系，本篇笔者便基于R，对一些常用的数据探索方法进行总结： 1.描述性统计量部分 1.1 计算描述性统计量的常规方法 summary() summ 阅读全文
摘要：
上一篇我们介绍了Fisher线性判别分析的原理及实现，而在判别分析中还有一个很重要的分支叫做二次判别，本文就对二次判别进行介绍： 二次判别属于距离判别法中的内容，以两总体距离判别法为例，对总体G1,，G2，当他们各自的协方差矩阵Σ1，Σ2不相等时，判别函数因为表达式不可化简而不再是线性的而是二次的， 阅读全文
摘要：
之前数篇博客我们比较了几种具有代表性的聚类算法，但现实工作中，最多的问题是分类与定性预测，即通过基于已标注类型的数据的各显著特征值，通过大量样本训练出的模型，来对新出现的样本进行分类，这也是机器学习中最多的问题，而本文便要介绍分类算法中比较古老的线性判别分析： 线性判别 最早提出合理的判别分析法者是 阅读全文
摘要：
我们之前经常提起的K-means算法虽然比较经典，但其有不少的局限，为了改变K-means对异常值的敏感情况，我们介绍了K-medoids算法，而为了解决K-means只能处理数值型数据的情况，本篇便对K-means的变种算法——K-modes进行简介及Python、R的实现： K-modes是数据 阅读全文
摘要：
DBSCAN算法是一种很典型的密度聚类法，它与K-means等只能对凸样本集进行聚类的算法不同，它也可以处理非凸集。 关于DBSCAN算法的原理，笔者觉得下面这篇写的甚是清楚练达，推荐大家阅读： https://www.cnblogs.com/pinard/p/6208966.html DBSCAN 阅读全文
摘要：
不管之前介绍的K-means还是K-medoids聚类，都得事先确定聚类簇的个数，而且肘部法则也并不是万能的，总会遇到难以抉择的情况，而本篇将要介绍的Mean-Shift聚类法就可以自动确定k的个数，下面简要介绍一下其算法流程： 1.随机确定样本空间内一个半径确定的高维球及其球心； 2.求该高维球内 阅读全文
摘要：
前几篇我们较为详细地介绍了K-means聚类法的实现方法和具体实战，这种方法虽然快速高效，是大规模数据聚类分析中首选的方法，但是它也有一些短板，比如在数据集中有脏数据时，由于其对每一个类的准则函数为平方误差，当样本数据中出现了不合理的极端值，会导致最终聚类结果产生一定的误差，而本篇将要介绍的K-me 阅读全文
摘要：
上一篇我们详细介绍了普通的K-means聚类法在Python和R中各自的实现方法，本篇便以实际工作中遇到的数据集为例进行实战说明。 数据说明： 本次实战样本数据集来自浪潮集团提供的美团的商家信息，因涉及知识产权问题恕难以提供数据地址； 我选择的三个维度的数值型数据分别为“商家评分”，“商家评论数”， 阅读全文