用t-SNE进行流形学习（digits数据集）

流行学习算法：

是一类用于可视化的算法，它允许进行更复杂的映射，通常也可以给出更好的可视化。
t-SNE算法是其中一种。

PCA是用于变换数据的首选方法，也可以进行可视化，但它的性质（先旋转然后减少方向）限制了有效性。因此，我们可以使用流形学习算法进行数据可视化。

1、什么是t-SNE

t-SNE算法：

主要思想：找到数据的一种二维表示，尽可能保持数据点之间的距离（高内聚，低耦合）。
- 这种方法不知道类别标签，是完全无监督的。
- 它只能变换用于训练的数据，不支持新数据（没有transform方法），即不能用于测试集。
- 具有调节参数（perplexity、early_exaggeration），通常默认参数的效果就很好。

2、将t-SNE应用于手写数字数据集

（1）了解一下digits数据集

  from sklearn.datasets import load_digits
  from matplotlib import pyplot as plt
  from sklearn.decomposition import PCA
  from sklearn.model_selection import train_test_split
  import numpy as np

  digits = load_digits()

  fig,axes = plt.subplots(2,5,figsize=(10,5),subplot_kw={'xticks':(),'yticks':()})
  
  #展示前10张图片
  for ax,img in zip(axes.ravel(),digits.images):
      ax.imshow(img)

  print(digits.images.shape)
  print(digits.data.shape)
  print(digits.target_names.shape)
  
  输出：
  (1797, 8, 8)
  (1797, 64)
  (10,)

📣

在这个数据集中，包含1797张8*8灰度的图像。每个数据点都是一个数字，共有10种类别（数字0~9）

（2）使用PAC作为一个对比

使用PCA将数据集将至二维，并将其可视化。对pca变换后的数据的前两个主成分作图

pca = PCA(n_components=2)
pca.fit(digits.data) #t-SNE只能用于训练集

#将数据样本用pca进行转换
digits_pca = pca.transform(digits.data)

plt.figure(figsize=(10,10))
plt.xlim(np.min(digits_pca[:,0]),np.max(digits_pca[:,0]))
plt.ylim(np.min(digits_pca[:,1]),np.max(digits_pca[:,1]))

#将数据点绘制成文本
for i in range(len(digits.data)):
    plt.text(digits_pca[i,0],digits_pca[i,1],str(digits.target[i]))

plt.xlabel("First Principal component")
plt.ylabel("Second Principal cpmponent")

📣

用pca可以将数据digits.data降到2维，没分别利用主成分1和主成分2，将数据点可视化至平面（只有两个特征才可作图到二维平面，便于观察）
利用pca前两个主成分可以把数字0,6,4相对较好地分开，但仍有重叠，其他大部分数字大量重叠。

（3）使用t-SNE

  from sklearn.manifold import TSNE

  tsne = TSNE(random_state=42)

  digits_tsne = tsne.fit_transform(digits.data)


  plt.figure(figsize=(10,10))
  plt.xlim(np.min(digits_tsne[:,0]),np.max(digits_tsne[:,0])+1)
  plt.ylim(np.min(digits_tsne[:,1]),np.max(digits_tsne[:,1])+1)

  #将数据点绘制成文本
  for i in range(len(digits.data)):
      plt.text(digits_tsne[i,0],digits_tsne[i,1],str(digits.target[i]))

  plt.xlabel("t-SNE feature 0")
  plt.ylabel("t-SNE feature 1")