1.2、Logistics Regression算法实践
1.1、Logistics Regression算法实践
有了上篇博客的理论准备后,接下来,我们用以及完成的函数,构建Logistics Regression分类器。我们利用线性可分的数据作为训练样本来训练。在构建模型的过程中,主要有两个步骤:(1)利用训练样本训练模型,(2)利用训练好的模型对新样本进行预测。
1.1.1、利用训练样本训练Logistics Regression模型
训练模型的主函数:
if __name__=="__main__":
print("------------1.load data----------------")
#导入数据
feature,lable = load_data("data.txt")
print("------------2.training-----------------")
#训练模型
w = lr_train_bgd(feature,lable,1000,0.01)
print("------------3.save model---------------")
#保存数据
save_model("weights",w)
保存数据模块函数:
def save_model(file_name,w): ''' :param file_name: #模型文件的保存名 :param w: #模型的权重 :return: ''' m = np.shape(w)[0] f_w = open(file_name,'w') w_array = [] for i in range(m): w_array.append(str(w[i,0])) f_w.write('\t'.join(w_array)) f_w.close()
加载数据的函数:
def load_data(file_name): ''' :param file_name: 训练数据的位置 :return: 特征,标签 ''' f = open(file_name) feature_data = [] lable_data = [] for line in f.readlines(): feature_tmp = [] lable_tmp = [] lines = line.strip().aplit("\t") feature_tmp.append(1)#偏置项 for i in range(len(lines)-1): feature_tmp.append(float(lines[i])) lable_tmp.append(float(lines[-1])) feature_data.append(feature_tmp) lable_data.append(lable_tmp) f.close() return np.mat(feature_data),np.mat(lable_data)
训练结果:
最终得到的Logistics Regression模型的权重为:
最终分隔超平面为:
1.1.2对数据进行预测:
对于分类算法而言,训练好的模型需要能够对新的数据集进行划分。利用上述步骤,我们训练好LR模型,并将其保存再“weights”文件中。此时我们队训练好的文件进行预测。
预测的主函数:
if __name__=="__main__": #导入LR模型 print("---------------------1.load model----------") w = load_weight("weights") n = np.shape(w)[1] #导入测试数据 print("---------------------2.load data-----------") testData = load_data("test_data",n) #队测试数据进行预测 print("---------------------3.get prediction------") h = predict(testData,w) #保存最终数据 print("---------------------4.save prediction-----") save_result("result",h)
Load_weight函数:
def load_weight(w): '''导入LR模型 input: w(string)权重所在的文件位置 output: np.mat(w)(mat)权重的矩阵 ''' f = open(w) w = [] for line in f.readlines(): lines = line.strip().split("\t") w_tmp = [] for x in lines: w_tmp.append(float(x)) w.append(w_tmp) f.close() return np.mat(w)
Loda_data函数:
def load_data(file_name, n): '''导入测试数据 input: file_name(string)测试集的位置 n(int)特征的个数 output: np.mat(feature_data)(mat)测试集的特征 ''' f = open(file_name) feature_data = [] for line in f.readlines(): feature_tmp = [] lines = line.strip().split("\t") # print lines[2] if len(lines) < n - 1: continue feature_tmp.append(1) for x in lines: # print x feature_tmp.append(float(x)) feature_data.append(feature_tmp) f.close() return np.mat(feature_data)
predict函数:
def predict(data, w): '''对测试数据进行预测 input: data(mat)测试数据的特征 w(mat)模型的参数 output: h(mat)最终的预测结果 ''' h = sig(data * w.T)#sig m = np.shape(h)[0] for i in range(m): if h[i, 0] < 0.5: h[i, 0] = 0.0 else: h[i, 0] = 1.0 return h
save_result函数:
def save_result(file_name, result): '''保存最终的预测结果 input: file_name(string):预测结果保存的文件名 result(mat):预测的结果 ''' m = np.shape(result)[0] #输出预测结果到文件 tmp = [] for i in range(m): tmp.append(str(result[i, 0])) f_result = open(file_name, "w") f_result.write("\t".join(tmp)) f_result.close()
测试结果:
生成了一个result.txt文件:
结果为: