1.2、Logistics Regression算法实践

 1.1、Logistics Regression算法实践
　　有了上篇博客的理论准备后，接下来，我们用以及完成的函数，构建Logistics Regression分类器。我们利用线性可分的数据作为训练样本来训练。在构建模型的过程中，主要有两个步骤：（1）利用训练样本训练模型，（2）利用训练好的模型对新样本进行预测。

　　1.1.1、利用训练样本训练Logistics Regression模型

　　　　训练模型的主函数：

 

if __name__=="__main__":
    print("------------1.load data----------------")
    #导入数据
    feature,lable = load_data("data.txt")
    print("------------2.training-----------------")
    #训练模型
    w = lr_train_bgd(feature,lable,1000,0.01)
    print("------------3.save model---------------")
    #保存数据
    save_model("weights",w)

 

　　保存数据模块函数：

def save_model(file_name,w):
    '''
    :param file_name: #模型文件的保存名
    :param w: #模型的权重
    :return:
    '''
    m = np.shape(w)[0]
    f_w = open(file_name,'w')
    w_array = []
    for i in range(m):
        w_array.append(str(w[i,0]))
    f_w.write('\t'.join(w_array))
    f_w.close()

　　加载数据的函数：

def load_data(file_name):
    '''
    :param file_name: 训练数据的位置
    :return: 特征，标签
    '''
    f = open(file_name)
    feature_data = []
    lable_data = []
    for line in f.readlines():
        feature_tmp = []
        lable_tmp = []
        lines = line.strip().aplit("\t")
        feature_tmp.append(1)#偏置项
        for i in range(len(lines)-1):
            feature_tmp.append(float(lines[i]))
        lable_tmp.append(float(lines[-1]))
        feature_data.append(feature_tmp)
        lable_data.append(lable_tmp)
    f.close()
    return np.mat(feature_data),np.mat(lable_data)

　　训练结果：

最终得到的Logistics Regression模型的权重为：

最终分隔超平面为：

 

　　　　1.1.2对数据进行预测：

　　　对于分类算法而言，训练好的模型需要能够对新的数据集进行划分。利用上述步骤，我们训练好LR模型，并将其保存再“weights”文件中。此时我们队训练好的文件进行预测。

　　　　　预测的主函数：

if __name__=="__main__":
    #导入LR模型
    print("---------------------1.load model----------")
    w = load_weight("weights")
    n = np.shape(w)[1]
    #导入测试数据
    print("---------------------2.load data-----------")
    testData = load_data("test_data",n)
    #队测试数据进行预测
    print("---------------------3.get prediction------")
    h = predict(testData,w)
    #保存最终数据
    print("---------------------4.save prediction-----")
    save_result("result",h)

Load_weight函数：

def load_weight(w):
    '''导入LR模型
    input:  w(string)权重所在的文件位置
    output: np.mat(w)(mat)权重的矩阵
    '''
    f = open(w)
    w = []
    for line in f.readlines():
        lines = line.strip().split("\t")
        w_tmp = []
        for x in lines:
            w_tmp.append(float(x))
        w.append(w_tmp)
    f.close()
    return np.mat(w)

Loda_data函数：

def load_data(file_name, n):
    '''导入测试数据
    input:  file_name(string)测试集的位置
            n(int)特征的个数
    output: np.mat(feature_data)(mat)测试集的特征
    '''
    f = open(file_name)
    feature_data = []
    for line in f.readlines():
        feature_tmp = []
        lines = line.strip().split("\t")
        # print lines[2]
        if len(lines) < n - 1:
            continue
        feature_tmp.append(1)
        for x in lines:
            # print x
            feature_tmp.append(float(x))
        feature_data.append(feature_tmp)
    f.close()
    return np.mat(feature_data)

predict函数：

def predict(data, w):
    '''对测试数据进行预测
    input:  data(mat)测试数据的特征
            w(mat)模型的参数
    output: h(mat)最终的预测结果
    '''
    h = sig(data * w.T)#sig
    m = np.shape(h)[0]
    for i in range(m):
        if h[i, 0] < 0.5:
            h[i, 0] = 0.0
        else:
            h[i, 0] = 1.0
    return h

save_result函数：

def save_result(file_name, result):
    '''保存最终的预测结果
    input:  file_name(string):预测结果保存的文件名
            result(mat):预测的结果
    '''
    m = np.shape(result)[0]
    #输出预测结果到文件
    tmp = []
    for i in range(m):
        tmp.append(str(result[i, 0]))
    f_result = open(file_name, "w")
    f_result.write("\t".join(tmp))
    f_result.close()

测试结果：

生成了一个result.txt文件：

结果为：