python3 偏最小二乘法实现
python3的sklearn库中有偏最小二乘法。
可以参见下面的库说明：http://scikit-learn.org/stable/modules/generated/sklearn.cross_decomposition.PLSRegression.html
对下面的程序进行改写，可以在python3中运行了
程序来源：来源：https://blog.csdn.net/li_huifei/article/details/78467689 经过修改可以在python3上运行
我的数据A.csv
我的数据RON.csv
# -*- coding: utf-8 -*- #看来这个程序适合的是python2版本的。来源：https://blog.csdn.net/li_huifei/article/details/78467689 #这个目前也可以用了，主要还是在第60行的数据转换，，，不太清楚怎样去做装换。主要是因为数据类型不清楚，所以用了最笨的方法，不知道结果正不正确。？？？？【这个是错误的】 #PLSR3经过摸索，第68行，还是因为数据结构类型不对，之后把array类型的数组转换成了list，，，这样方便在外面套一个[]，，之后运行没有问题，但是结果的正确与否，还有待验证。 #导入库的部分 import csv from sklearn import preprocessing from sklearn.cross_validation import train_test_split from sklearn.decomposition import RandomizedPCA from sklearn.cross_decomposition import PLSRegression #偏最小二乘法的实现， 在这里是可以跳进 PLSRegression 里面的 import numpy as np import math import matplotlib.pyplot as plt #导入数据的部分 A = np.loadtxt('A.csv',delimiter=',') #读入数据 这里的A就是y的矩阵 #读了这么多的数据？？？哪个是x，，哪个又是y呢？？？ print (A.shape) RON = np.loadtxt('RON.csv',delimiter=',') #这里的RON就是x的矩阵 print (RON.shape) #暂且在这里设置全局变量吧。 x_train_st_i=[] #定义全局函数的部分。 def error(y_predict,y_test): #定义计算误差平方和函数，，，传入的是估算出的值，和测试值，，这里仅仅是用来定义的，方便后面的调用。 errs = [] for i in range(len(y_predict)): e = (y_predict[i]-y_test[i])**2 errs.append(e) return sum(errs) #偏最小二乘法的实现部分。 x_train, x_test, y_train, y_test = train_test_split(RON,A,test_size=0.5) #划分训练集测试集，，，这个是一个库函数？？ ，，，，这里能够看出是A和RON进行建模的。 x_train_st = preprocessing.scale(x_train) #数据标准化，这个是内置函数 y_train_st = preprocessing.scale(y_train) #数据标准化,,这一句是我仿照上面的一句改写的。 n_components = 0 #这个应该是保存主成分的个数。 while n_components<x_train_st.shape[1]: n_components=n_components+1 #在第一遍的时候n_components是1，第二遍循环的时候是2，，，第n遍循环是n，，最大是x的列数，也就是特征的个数， pls2 = PLSRegression(n_components=n_components) #计算SS （SS这个是全建模 ， PRESS是减去一个进行建模，，，，在python里建模很简单，设置好参数，调用一下函数就能建模了） #这个不是偏最小二乘法吗？？？,,这里是循环计算主成分的个数，直到达到满意的精度。 pls2.fit(x_train_st, y_train) #fit也是一个函数，，，两个参数，第一个参数是训练集，第二个参数是目标。 y_predict0 = pls2.predict(x_train_st) #predict也是一个内置的函数，，，，这个是不是用建好的模型去做预测，，，，把参数训练集输入进去，得到的是预测的值。 SS = error(y_predict0,y_train) #这里是预测的值和真正的值之间的误差大小。 y_predict1 = [] #这是创建了一个新的变量。根据名字的意思，根据模型得到的y的预测值，实际上这个模型是留一法建立的模型。 for i in range(x_train_st.shape[0]): #计算PRESS，，，，这个是x_train_st的行数 n_components1 = n_components #但是我不明白，为什么这里还要加1，主成分不可能是0个吧，所以就从1开始了。 x_train_st1 = np.delete(x_train_st,i,0) #这里的0是行，1是列，，这个应该是删除第i行，，，这里是标准化的数组。留一法的实现 y_train_st1 = np.delete(y_train,i,0) #这个也是删除第i行，这里都是经过标准化的（但这个x是经过标准化的，y却没有用标准化的数据）。，，这个没有用到过，是不是这里写错了？？ pls2 = PLSRegression(n_components=n_components1) #偏最小二乘法参数的设置，，，这里面一般有5个参数，，但这里只传入了主成分的个数。 #参数1：n_components:int ,(default 2) ,,要保留的主成分数量，默认为2 #参数2：scale:boolean,(default True),,是否归一化数据，默认为是 #参数3：max_iter: an integer,(default 500),,使用NIPALS时的最大迭代次数 #参数4：tol： non-negative real（default 1e-06）,,迭代截止条件 #参数5：copy： Boolean，（default True）,, pls2.fit(x_train_st1, y_train_st1) #这里是根据前面设置好的参数建模过程，这里的建模过程是不是不太对（这里x是归一化的，y并没有用归一化的），应该都是用归一化的才行呀。？？？ #这里主要是进行了数据格式的转换，因为做预测要传进的是矩阵【格式很重要】 x_train_st_i=[] #用之前要进行清空，这个很重要。用一个参数之前要进行清空。 x_train_st_list=x_train_st[i].tolist() x_train_st_i.append(x_train_st_list) print ('the x_train_st is ',x_train_st_i) #输出一下变量，查看格式是否正确，因为下面的predict函数需要用[[1，1，1，1，1，1]] 这种格式的数据 y_predict11 = pls2.predict(x_train_st_i) #预测函数，给定之前留一法没有用到的样本，进行建模，预测对应的y值。？？？？可是已经删除了不是吗？？？ ZHE这句出了一点问题？？？？就是数据格式有问题，需要在最外面在加一个[] y_predict1.append(y_predict11) #把所有的y值组成一个数组，便于计算误差。，这个也是y的预测值，用它来算出另一个误差。 PRESS = error(y_predict1,y_train) #可能错误：https://blog.csdn.net/little_bobo/article/details/78861578 Qh = 1-float(PRESS/SS) if Qh<0.0985: #判断精度 模型达到精度要求，可以停止主成分的提取了。 plt.figure(1) plt.scatter(y_predict0,y_train) #画了一个图，这个图是预测值，与测量值的图？？？ plt.figure(2) plt.scatter(y_predict1,y_train) print ('the Qh is ',Qh) print ('the PRESS is',PRESS) print ('the SS is',SS) break #达到了上面的精度，就可以停止while的迭代了 #这下面就没有看懂了。 print ('n_components is ',n_components+1) #这里为什么要加1？？？，，，难道因为计数是从0开始的？？ SECs = [] errors = [] e = 100 for i in range(10): #循环测试 #print i x_train, x_test, y_train, y_test = train_test_split( RON,A, test_size=0.5) #划分训练集与测试集，这个是一个内置的函数。 x_test_st = preprocessing.scale(x_test) #数据标准化 y_predict = pls2.predict(x_test_st) #进行预测 SECs.append(np.sqrt(error(y_predict,y_test)/(y_test.shape[0]-1))) errors.append(float(error(y_predict,y_test))) if SECs[-1]<e: y_predict_min = y_predict y_test_min = y_test print ('the prediced value is ' ,y_predict.T) #画图，打印结果 print ('the true value is',y_test) print ('the mean error is',float(np.mean(errors))) print ("the mean SEC is ",float(np.mean(SECs))) plt.figure(3) plt.scatter(y_predict_min,y_test_min)
摘自：
