无监督学习-聚类

一.基本概念

1.无监督学习：数据无标签或者说是未知的，目标是通过对无标记数据的学习来揭示数据的内在性质和规律。主要研究方向有聚类，主要方法有降维

 

二.聚类

1.聚类：将数据样本划分为若干个通常是不相交的子集，这样每个子集就是一簇或者说是一类，每一类代表类中数据的某些规律，而且这个规律不在其他类中适用，类名由使用者来定义

2.目标：把无标签数据集分为若干类，同一簇的样本尽可能相似，不同簇的样本尽可能不同，簇之间的距离用中心点（平均）之间的距离来表示，簇之间最短距离用簇间最短样本距离来表示

3.聚类和分类：聚类是把所有无标签数据分类，类名（标签）和类的数量是自定义的，分类是模型学习标签数据的特点，从而对未知数据预测标签

 

三.聚类算法

（1）划分方法：k均值（k-means）

【1】初始化的聚类中心可能导致不好的局部最优：多次随机初始化选取其中代价最小的

【2】选择聚类数量：观察可视化图手动设置

【3】肘部法则：随着聚类数量的增大，损失函数也会降低，选择曲线拐点，但有时候拐点不容易看出，可以根据目的来决定聚类数量

（2）层次方法：对数据集进行层次似的分解，知道满足某个条件为止

【1】自底向上：初始每个数据样本都为一簇，通过合并相似簇来缩减类的数量

【2】自顶向下：初始所有数据为一类，通过分割最不相似的样本来增加类的数量

（3）基于密度：基于密度而不是距离，因为距离算法其实是类圆形的类划分，而基于密度则是某个区域中的密度大于某个值，就把它加到与之相似的聚类中

（4）基于模型：给每个类假定一种模型，寻找能够满足这个模型的数据

 

四.距离度量和相似度度量

1.两者同异

（1）同：都能表现两个样本的相似性，两个样本之间的距离越小，相似度越大，则两个样本越相似

（2）异：距离是指两个样本在空间中的距离，相似度是指两个样本的相似程度，所有距离都能在一定程度上表现相似性，不是所有相似性度量都是距离

2.距离度量

（1）p范数（闵可夫斯基距离）：各个维度距离的p次方后求和再开p次方。涉及到量纲影响的时候要注意：不同维度相同距离并不表示两者一样

（2）曼哈顿距离（L1范数）

（3）L2范数（欧式距离）（欧几里得距离）

（4）无穷范数（切比雪夫距离）

3.相似度度量

（1）余弦相似度（向量内积的变换）：适合高维度向量之间的相似度计算，主要衡量的是向量方向的差异

（2）Tonimoto系数：余弦相似度的改进，不仅考虑了两个向量的方向，还考虑了长度差异

（3）皮尔逊相关系数(Pearson Correlation)：用于度量两个正太分布的随机变量之间的线性相关程度，取值为[-1,1]，绝对值越大，相关性越高，正数表示正相关，负数表示负相关

（4）Jaccard相似系数：用于比较有限样本集合之间的相似性，