《机器学习十讲》第八讲
源地址（相关案例在视频下方）： http://cookdata.cn/auditorium/course_room/10019/
《机器学习十讲》——第八讲（维度灾难）
维度灾难：随着维度（如特征或自由度）的增多，问题的复杂性（或计算算代价）呈指数级增长的现象。
高维空间的反直觉示例：单位球体积：
一维，二维，三维的 长度/面积/体积 都有公式计算，而高维的计算公式是这样的：
d维空间半径为r的球体体积公式：
单位球体积与维度之间的关系图示：
在高维空间中，球体内部的体积与表面积处的体积相比可以忽略不计，大部分体积都是分布在边界的：
高维空间中的欧式距离：d维空间样本x1和x2的欧式距离为：
随着维数增加，单个维度对距离的影响越来越小，任意样本间的距离趋于相同：
由于距离在高维空间中不再有效，因此一些基于距离的机器学习模型就会收到影响。
基于距离的机器学习模型：K近邻（样本间距离），支持向量机（样本到决策面距离），K-Means（样本到聚类中心距离），层次聚类（不同簇之间的距离），推荐系统（商品或用户相似度），信息检索（查询和文档之前的相似度）。
稀疏性与过度拟合：
过度拟合：模型对已知数据拟合较好，新的数据拟合较差。极端例子：训练集准确率越来越高，而使用测试集测试模型准确率依然维持在0.5左右。
稀疏性：高维空间中样本变得极度稀疏，容易会造成过度拟合问题。
Hughes现象：随着维度增大，分类器性能不断提升直到达到最佳维度，继续增加维度分类器性能会下降。
高维空间计算复杂度指数增长，因此只能近似求解，得到局部最优解而非全局最优解。
举例——决策树：选择切分点对空间进行划分。每个特征m个取值，候选划分数量m^d（维度灾难）
举例——朴素贝叶斯：
应对维度灾难：特征选择和降维
特征选择：选取特征子集。
降维：使用一定变换，将高维数据转换为低维数据，PCA，流形学习，t-SNE等。
正则化：减少泛化误差而不是训练误差
核技巧：
判断机器学习模型是否存在维度灾难问题：
不存在维度灾难问题的模型：随机特征模型，两层神经网络，残差神经网络等
案例——使用Python认识维度问题。
单位球体积随着维度的变化
#公式实现
import numpy as np
import math
#引用伽马函数
from scipy.special import gamma
def V(d,r):
return math.pi**(d/2)*(r**d)/gamma(d/2 + 1)
#测试一下
print(V(1,1))
#使用公式计算1-20维单位球的体积 import pandas as pd df = pd.DataFrame() df["d"] = np.arange(1,20) #半径为1 df["V"] = V(df["d"],1) df.round(9)
#将单位球体积随着维度的变化进行可视化
##为了方便观察，设置维度为1-70
import matplotlib.pyplot as plt
%matplotlib inline
fig, ax = plt.subplots(figsize=(12, 6)) #设置图片大小
ds = np.arange(1,70)
plt.plot(ds,V(ds,1),color="#E4007F",marker="o")
plt.xlabel("维度$d$")
plt.ylabel("单位球体积$V_d$")
#看一下0.1半径体积的比例是多少
##假设边界为0.1
def ratio(d):
return (V(d,1) - V(d,0.9))/ V(d,1)
df["ratio90"] = 1 - 0.9**(df.d)
df.round(6).head(20)
#将0.1边界体积比例可视化
import matplotlib.pyplot as plt
%matplotlib inline
fig, ax = plt.subplots(figsize=(12, 6)) #设置图片大小
ds = np.arange(1,50)
plt.plot(ds,ratio(ds),color="#E4007F",marker="o")
plt.xlabel("维度$d$")
plt.ylabel("0.1边界体积占比")
#刚才的方法是指定边界为0.1，为了能查看任意边界比例的情况，再写一个方法
def volumn_fraction_in_border(d,r):
return(V(d,1)-V(d,1-r))/V(d,1)
#可视化
import numpy as np
#设置维度
ds=[1,2,5,20,100]
#设置颜色
colors=["gray","#E4007F","","","",""]
rs=np.linspace(0,1,100)
result=[]
for d in ds:
vs=[]
for r in rs:
vs.append(volumn_fraction_in_border(d,r))
result.append(vs)
import matplotlib.pyplot as plt
%matplotlib inline
fig, ax = plt.subplots(figsize=(8, 8)) #设置图片大小
plt.title("单位球边界体积比例随维度的变化")
for i in range(len(ds)):
plt.plot(rs,result[i],color="#E4007F",label="d="+str(ds[i]))
plt.text(rs[50]-i*0.12,0.5+i*0.1,"$d$="+str(ds[i]))
plt.xlim(0,1)
plt.ylim(0,1)
plt.xlabel("边界半径占比$r$")
plt.ylabel("边界体积比例")
高维空间中的样本距离
#定义方法计算欧式距离
def data_euclidean_dist(x):
sum_x = np.sum(np.square(x), 1)
dist = np.add(np.add(-2 * np.dot(x, x.T), sum_x).T, sum_x)
return dist
#自定义一个矩阵，计算两两之间的欧式距离
x = np.array([[0, 1, 3], [3, 8, 9], [2, 3, 5]])
dist_matrix = data_euclidean_dist(x)
dist_matrix
#使用mask去掉对角线（0） ##计算该欧式距离中的最小值 mask = np.ones(dist_matrix.shape, dtype=bool) np.fill_diagonal(mask, 0) dist_matrix[mask].min()
#生成一个包含5000个样本5000个维度的数据集。每一个维度都是从[-1,1]之间随机生成。 X = np.random.uniform(-1,1,(5000,5000)) #显示 X
#求随着维度增大，样本间欧式距离最大值与最小值的差值，需要用mask去掉对角0
min_max_list = []
#设置间隔为50
for d in range(50,5000,50):
dist_matrix = data_euclidean_dist(X[:,:d])
mask = np.ones(dist_matrix.shape, dtype=bool)
np.fill_diagonal(mask, 0)
min_max = (dist_matrix[mask].max() - dist_matrix[mask].min())/dist_matrix[mask].max()
if d%50 == 0:
print(d,min_max.round(3))
min_max_list.append(min_max)
#可视化
import matplotlib.pyplot as plt
%matplotlib inline
fig, ax = plt.subplots(figsize=(16, 4)) #设置图片大小
ds = np.arange(0,len(min_max_list))
plt.plot(ds,min_max_list,color="#E4007F")
plt.xlabel("维度$d$")
plt.ylabel("最大-最小距离差距")
维度对分类性能的影响
#生成Trunk数据集
import pandas as pd
import numpy as np
max_features,num_samples = 1000,500 #最大特征数量和样本数量
X_pos = pd.DataFrame()
X_neg = pd.DataFrame()
for i in range(max_features):
X_pos["f"+str(i+1)] = np.random.randn(num_samples)+ np.sqrt(1/(i+1)) #生成当前特征的正类样本
X_neg["f"+str(i+1)] = np.random.randn(num_samples)- np.sqrt(1/(i+1)) #生成当前特征的负类样本
X_pos["label"],X_neg["label"] = 0,1 #添加标签
trunk_data = pd.concat([X_pos,X_neg],axis=0) #合并正类和负类样本
trunk_data.head()
#随机选择几个特征，用散点图可视化正负类样本的分布情况。
import matplotlib.pyplot as plt
%matplotlib inline
features = [1,5,10,100]
fig, ax = plt.subplots(figsize=(16, 4)) #设置图片大小
for i in range(len(features)):
plt.subplot(1,4,i+1)
plt.scatter(trunk_data[trunk_data.label == 0]["f" + str(features[i])], trunk_data[trunk_data.label == 0]["f" + str(features[i]+1)], color="#007979")
plt.scatter(trunk_data[trunk_data.label == 1]["f" + str(features[i])], trunk_data[trunk_data.label == 1]["f" + str(features[i]+1)],color="#E4007F")
plt.xlabel("feature " + str(features[i]))
plt.ylabel("feature " + str(features[i]+1))
plt.tight_layout()
#不断增加特征数量，观察分类性能随着维数的变化。
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(trunk_data.iloc[:,:-1],trunk_data["label"],test_size=0.5)#训练集和测试集划分
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
num_features = np.arange(1,max_features,10)
exp_times = 10 #试验次数
test_result = np.zeros(len(num_features))
train_result = np.zeros(len(num_features))
#实验用到不同维度，所以使用两层for循环控制
for t in range(exp_times): #运行多次试验
scores_train = [] #记录训练集正确率
scores_test = [] #记录测试集正确率
for num_feature in num_features: #使用不同特征数量
clf = LinearDiscriminantAnalysis()#新建分类模型
clf.fit(X_train.iloc[:,:num_feature],y_train)#用训练集对应特征数去训练
score_train = clf.score(X_train.iloc[:,:num_feature],y_train)#记录训练集正确率
score_test = clf.score(X_test.iloc[:,:num_feature],y_test)#记录测试集正确率
scores_train.append(score_train)
scores_test.append(score_test)
train_result += np.array(scores_train)
test_result += np.array(scores_test)
print(t)
#求平均值
test_result /= exp_times
train_result /= exp_times
#训练好后进行可视化
fig, ax = plt.subplots(figsize=(12, 6))
ax.plot(np.log10(num_features),test_result,color="#E4007F",marker=".")
plt.ylim(0.5,1)
plt.xlabel("number of features")
plt.ylabel("accuracy")
使用高维处理非线性问题
维度的好处：
#生成一份月牙形随机线性不可分随机数据集。
import pandas as pd
from sklearn import datasets
sample,target = datasets.make_moons(n_samples=300,shuffle=True,noise=0.1,random_state=0)
data = pd.DataFrame(data=sample,columns=["x1","x2"])
data["label"] = target
#可视化
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
fig, ax = plt.subplots(figsize=(6, 6)) #设置图片大小
ax.scatter(data[data.label==0]["x1"],data[data.label==0]["x2"],color="#007979")
ax.scatter(data[data.label==1]["x1"],data[data.label==1]["x2"],color="#E4007F")
plt.xlabel("$x_1$")
plt.ylabel("$x_2$")
#使用线性支持向量机进行分类。 from sklearn.model_selection import train_test_split X_train,X_test,y_train,y_test = train_test_split(data[["x1","x2"]],data.label,test_size=0.5) #获取参数 from sklearn.svm import LinearSVC svm_linear = LinearSVC() svm_linear.fit(X_train,y_train) svm_linear.score(X_test,y_test)
#将决策直线画出来
fig, ax = plt.subplots(figsize=(6, 6)) #设置图片大小
ax.scatter(X_train[y_train==0]["x1"],X_train[y_train==0]["x2"],color="#007979")
ax.scatter(X_train[y_train==1]["x1"],X_train[y_train==1]["x2"],color="#E4007F")
ax.scatter(X_test[y_test==0]["x1"],X_test[y_test==0]["x2"],color="#007979",marker="^",alpha=0.6)
ax.scatter(X_test[y_test==1]["x1"],X_test[y_test==1]["x2"],color="#E4007F",marker="^",alpha=0.6)
x1 = np.linspace(-1.5,2.5,50)
x2 = - x1*svm_linear.coef_[0][0]/svm_linear.coef_[0][1] - svm_linear.intercept_[0]/svm_linear.coef_[0][1]
ax.plot(x1,x2,color="gray")
plt.xlabel("$x_1$")
plt.ylabel("$x_2$")
#使用带有核函数的支持向量机模型 from sklearn.svm import SVC #rbf核函数 svm_rbf = SVC(kernel='rbf') svm_rbf.fit(X_train,y_train) svm_rbf.score(X_test,y_test)
#绘制分类决策面的辅助函数，代码来源于Sklearn官网
##网址：https://scikit-learn.org/stable/auto_examples/svm/plot_iris_svc.html
def plot_contours(ax, clf, xx, yy, **params):
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
out = ax.contourf(xx, yy, Z, **params)
return out
def make_meshgrid(x, y, h=.02):
x_min, x_max = x.min() - 1, x.max() + 1
y_min, y_max = y.min() - 1, y.max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),np.arange(y_min, y_max, h))
return xx, yy
#绘制决策平面
xx, yy = make_meshgrid(X_train["x1"], X_train["x2"])
fig, ax = plt.subplots(figsize=(6, 6)) #设置图片大小
ax.scatter(X_train[y_train==0]["x1"],X_train[y_train==0]["x2"],color="#007979")
ax.scatter(X_train[y_train==1]["x1"],X_train[y_train==1]["x2"],color="#E4007F")
ax.scatter(X_test[y_test==0]["x1"],X_test[y_test==0]["x2"],color="#007979",marker="^",alpha=0.6)
ax.scatter(X_test[y_test==1]["x1"],X_test[y_test==1]["x2"],color="#E4007F",marker="^",alpha=0.6)
plot_contours(ax, svm_rbf, xx, yy, cmap=plt.cm.coolwarm, alpha=0.5)
plt.xlabel("$x_1$")
plt.ylabel("$x_2$")
维度的弊端，这里展示的是过度拟合：
#随机生成一份满足标准正态分布的数据集，包含1000个样本，500个特征。类别标签是从0和1中随机生成的
#等分成训练集和测试集（1：1）
X = np.random.randn(1000,500) #生成满足标准正太分布的特征
y = np.random.randint(0,2,1000) #生成标签
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.5)#训练集和测试集划分
#借助线性支持向量机模型，断增大使用的特征数量，观察模型在训练集和测试集上的正确率变化情况。
from sklearn.svm import LinearSVC
num_features = np.arange(1,X.shape[1],20)
scores_train = [] #记录训练集正确率
scores_test = [] #记录测试集正确率
for num_feature in num_features:
linear_svm = LinearSVC() #新建线性支持向量机
linear_svm.fit(X_train[:,:num_feature],y_train)
score_train = linear_svm.score(X_train[:,:num_feature],y_train)
score_test = linear_svm.score(X_test[:,:num_feature],y_test)
scores_train.append(score_train)
scores_test.append(score_test)
print(num_feature,score_train,score_test)
#可视化
fig, ax = plt.subplots(figsize=(8, 6)) #设置图片大小
ax.plot(num_features,scores_train,color="#007979",marker="o")
ax.plot(num_features,scores_test,color="#E4007F",marker="^")
ax.hlines(0.5,0,500,color="gray",linestyles="--")
plt.ylim(0,1.2)
plt.xlabel("number of features")
plt.ylabel("accuracy")
可见测试集中正确率依然维持在0.5左右。发生了过度拟合。
