机器学习--数据挖掘算法（无监督）

一、有监督学习和无监督学习区别

分类：有监督

聚类：无监督

 

 

 

二、kmeans 算法

#自己创建数据集

X, y = make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
plt.scatter(X[:, 0], X[:, 1],  marker='o' ,s=8 )
color = ["red","pink","orange","gray"]
for i in range(4):
    plt.scatter(X[y==i, 0], X[y==i, 1]
    ,marker='o' #点的形状
    ,s=8 #点的大小
    ,c=color[i]
    )
plt.show()

 

 

n_clusters = 3 #簇
cluster = KMeans(n_clusters=n_clusters, random_state=0).fit(X)
# 方法一
y_pred = cluster.labels_# 预测归纳成3类，分别是0，1，2
# 方法二
cluster.predict(X)# 预测归纳成3类，分别是0，1，2
# 查看质心
centroid = cluster.cluster_centers_
# 重要属性inertia_，查看总距离平方和
inertia = cluster.inertia_

模型评估--轮廓系数

# 簇越大，总距离平方和越小，总距离平方和越小越好，但是簇越大意味着分类越多，
# 有的类具有高度相似，分出来无意义，要遵循簇内差异小，簇外差异大，需要用轮廓系数，找到最优簇

找最优簇

from sklearn.metrics import silhouette_score
from sklearn.metrics import silhouette_samples
silhouette_score(X,cluster.labels_) # X是源数据，cluster.labels_是分的类，计算所有样本的轮廓系数均值0.5882004012129721
silhouette_samples(X,cluster.labels_)        #计算每个样本的轮廓系数。
# 通过画图，找到最优簇
import pandas as pd
score = []
# 将k（簇）值从2变化到20
for i in range(2, 20):
    cluster = KMeans(n_clusters=i, random_state=0).fit(X)
    score.append(silhouette_score(X, cluster.labels_))

plt.plot(range(2, 20), score)
# 给k最大的位置加虚线   #idxmax()[] 取最高的分数索引  因为这边从k=2开始 所以+2
plt.axvline(pd.DataFrame(score).idxmax()[0] + 2, ls=':')
# 最优簇
cu = pd.DataFrame(score).idxmax()[0] + 2 #2
print(pd.DataFrame(score))

 

三、无监督的归一化

from sklearn.preprocessing import Normalizer
X = data.iloc[:,2:]
norm_train_data = Normalizer().fit_transform(X)

 

四、关于标准化、归一化、Normalizer的总结

一、数据标准化
StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布)
标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下
常用与基于正态分布的算法，比如回归

二、数据归一化
MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的）
提升模型收敛速度，提升模型精度
常见用于神经网络

三、Normalizer （基于矩阵的行，将样本向量转换为单位向量）
其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准
常见用于文本分类和聚类、logistic回归中也会使用，有效防止过拟合