实验二：逻辑回归算法实验

【实验目的】

理解逻辑回归算法原理，掌握逻辑回归算法框架；
理解逻辑回归的sigmoid函数；
理解逻辑回归的损失函数；
针对特定应用场景及数据，能应用逻辑回归算法解决实际分类问题。

【实验内容】

1.根据给定的数据集，编写python代码完成逻辑回归算法程序，实现如下功能：

建立一个逻辑回归模型来预测一个学生是否会被大学录取。假设您是大学部门的管理员，您想根据申请人的两次考试成绩来确定他们的入学机会。您有来自以前申请人的历史数据，可以用作逻辑回归的训练集。对于每个培训示例，都有申请人的两次考试成绩和录取决定。您的任务是建立一个分类模型，根据这两门考试的分数估计申请人被录取的概率。
算法步骤与要求：

(1)读取数据；(2)绘制数据观察数据分布情况；(3)编写sigmoid函数代码；(4)编写逻辑回归代价函数代码；(5)编写梯度函数代码；(6)编写寻找最优化参数代码（可使用scipy.opt.fmin_tnc()函数）；(7)编写模型评估（预测）代码，输出预测准确率；(8)寻找决策边界，画出决策边界直线图。

2. 针对iris数据集，应用sklearn库的逻辑回归算法进行类别预测。

要求：

（1）使用seaborn库进行数据可视化；（2）将iri数据集分为训练集和测试集(两者比例为8:2)进行三分类训练和预测；（3）输出分类结果的混淆矩阵。

【实验报告要求】

对照实验内容，撰写实验过程、算法及测试结果；
代码规范化：命名规则、注释；
实验报告中需要显示并说明涉及的数学原理公式；
查阅文献，讨论逻辑回归算法的应用场景；

一、

(1)数据导入

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

#读取数据
data=pd.read_csv("D:/机器学习/ex2data1.txt",delimiter=',',header=None,names=['exam1','exam2','isAdmitted'])
data.head(5)
print(data)

(2)绘制数据观察数据分布情况

#数据可视化
positive = data[data['isAdmitted']==1]    #获取正样本
negative = data[data['isAdmitted']==0]    #获取负样本
fig,ax = plt.subplots(figsize=(12,8))
ax.scatter(positive['exam1'],positive['exam2'],s=30,c='g',marker='o',label='admitted')
ax.scatter(negative['exam1'],negative['exam2'],s=30,c='r',marker='x',label='not admitted')
ax.legend(loc=1)    #显示标签位置
ax.set_xlabel("Exam1 Score")
ax.set_ylabel("Exam2 Score")
plt.show()

(3)编写sigmod函数

#编写sigmoid函数
def sigmoid(z):
    return 1/(1+np.exp(-z))

(4)编写逻辑回归的代价函数

#编写代价函数代码
def computeCost(theta,X,Y):
    theta = np.matrix(theta) #不能缺少，因为参数theta是一维数组，进行矩阵想乘时要把theta先转换为矩阵
    h=sigmoid(np.dot(X,(theta.T)))
    a=np.multiply(-Y,np.log(h))
    b=np.multiply((1-Y),np.log(1-h))
    return np.sum(a-b)/len(X)
computeCost(theta,X,Y)  #当theta值为0时，计算此时的代价值

(5)编写梯度函数

#编写梯度函数代码
def gradient(theta,X,Y):
    theta = np.matrix(theta) #要先把theta转化为矩阵
    h=sigmoid(np.dot(X,(theta.T)))
    grad=np.dot(((h-Y).T),X)/len(X)
    return np.array(grad).flatten()  #因为下面寻找最优化参数的函数（opt.fmin_tnc())要求传入的gradient函返回值需要是一维数组，因此需要利用flatten（）将grad进行转换以下

gradient(theta,X,Y) #测试一下，当theta值都为为0时，计算一下此时的梯度为多少

(6)寻优参数

#使scipy.optimize包下的fmin_tnc函数来求解最优参数
import scipy.optimize as opt
result = opt.fmin_tnc(func=computeCost, x0=theta, fprime=gradient, args=(X, Y)) 
print(result)
theta=result[0]

(7)编写模型评估代码，输出准确率

#编写模型评估（预测）代码
def predict(theta, X):
    theta = np.matrix(theta)
    temp = sigmoid(X * theta.T)
    #print(temp)
    return [1 if x >= 0.5 else 0 for x in temp]
    
predictValues=predict(theta,X)
hypothesis=[1 if a==b else 0 for (a,b)in zip(predictValues,Y)]
accuracy=hypothesis.count(1)/len(hypothesis)
print ('accuracy = {0}%'.format(accuracy*100))

(8)寻找决策边界，画出边界直方图

#编写决策边界
def find_x2(x1,theta):
    return [(-theta[0]-theta[1]*x_1)/theta[2] for x_1 in x1]
x1 = np.linspace(30, 100, 1000)
x2=find_x2(x1,theta)

#数据可视化
positive=data[data['isAdmitted']==1]
negative=data[data['isAdmitted']==0]
fig,ax=plt.subplots(figsize=(12,8))
ax.scatter(positive['exam1'],positive['exam2'],marker='+',label='addmitted')
ax.scatter(negative['exam2'],negative['exam1'],marker='o',label="not addmitted")
ax.plot(x1,x2,color='r',label="decision boundary")
ax.legend(loc=1)
ax.set_xlabel('Exam1 score')
ax.set_ylabel('Exam2 score')
plt.show()

二、

(1)导入基础包

##  基础函数库
import numpy as np 
import pandas as pd
## 绘图函数库
import matplotlib.pyplot as plt
import seaborn as sns
## 我们利用 sklearn 中自带的 iris 数据作为数据载入，并利用Pandas转化为DataFrame格式
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn import metrics

(2)数据分析、测试训练

data = load_iris() #得到数据特征
iris_target = data.target #得到数据对应的标签
iris_features = pd.DataFrame(data=data.data, columns=data.feature_names) #利用Pandas转化为DataFrame格式
# 合并标签和特征信息
iris_all = iris_features.copy() ## 进行浅拷贝，防止对于原始数据的修改
iris_all['target'] = iris_target
# pairplot用来进行数据分析，画两两特征图。常用参数介绍：data：必不可少的数据 hue: 用一个特征来显示图像上的颜色，类似于打标签 marker: 每个label的显示图像变动，有的是三角，有的是原点 vars:只留几个特征两两比较，diag_kind--矩阵  hist直方图 kde核密度曲线
sns.pairplot(data=iris_all,diag_kind='hist', hue= 'target') 
#显示所有的 figure（不管是阻塞模式的还是交互模式的）。若一个 figure 下一个 plt.show()，则只有关闭一个 figure，才会出现下一个 figure。若最后设置 plt.show()，则会显示设置的所有 figure。简单来说，看完一张图才能看下一张
plt.show()  # plt.show()：

## 测试集大小为20%， 80%/20%分
x_train, x_test, y_train, y_test = train_test_split(iris_features, iris_target, test_size = 0.2, random_state = 2020)
## 定义 逻辑回归模型
clf = LogisticRegression()
# 在训练集上训练逻辑回归模型
clf.fit(x_train, y_train)
## 因为3分类，所有我们这里得到了三个逻辑回归模型的参数，其三个逻辑回归组合起来即可实现三分类。
## 在训练集和测试集上分别利用训练好的模型进行预测
train_predict = clf.predict(x_train)
test_predict = clf.predict(x_test)
# 查看其对应的w
print('逻辑回归的权重：',clf.coef_)
## 查看其对应的w0
print('逻辑回归的截距（w0）：',clf.intercept_)

 

(3)输出混淆矩阵

from sklearn import metrics
##利用accuracy（准确度）【预测正确的样本数目占总预测样本数目的比例】评估模型效果
print('逻辑回归准确度:',metrics.accuracy_score(y_train,train_predict))
print('逻辑回归准确度:',metrics.accuracy_score(y_test,test_predict))
 
##查看混淆矩阵(预测值和真实值的各类情况统计矩阵)
confusion_matrix_result=metrics.confusion_matrix(y_test,test_predict)
print('混淆矩阵结果：\n',confusion_matrix_result)
 
## 利用热力图对于结果进行可视化,画混淆矩阵
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_result,annot=True,cmap='Blues')
plt.xlabel('PredictLabel')
plt.ylabel('TrueLabel')
plt.show()

 

三、实验小结

(1)运用的公式

(2)应用场景：

应用：

• 用于分类：适合做很多分类算法的基础组件。
• 用于预测：预测事件发生的概率（输出）。
• 用于分析：单一因素对某一个事件发生的影响因素分析（特征参数值）。

适用：

• 基本假设：输出类别服从伯努利二项分布。
• 样本线性可分。
• 特征空间不是很大的情况。
• 不必在意特征间相关性的情景。
• 后续会有大量新数据的情况。