【笔记】逻辑回归中使用多项式（sklearn）
在逻辑回归中使用多项式特征以及在sklearn中使用逻辑回归并添加多项式
在逻辑回归中使用多项式特征
在上面提到的直线划分中，很明显有个问题，当样本并没有很好地遵循直线划分（非线性分布）的时候，其预测的结果是不太准的，所以可以引用多项式项，从线性回归转换成多项式回归，同理，为逻辑回归添加多项式项，基于这基础，就可以对逻辑回归进行一个比较好的分类，可以使用将degree设置成各种大小来构建任意大小的决策边界
具体实现
（在notebook中）
熟悉的加载包环节，然后设置一个随机数，种子为666，生成X和y，x为两百个样本，每个样本为两个特征，是第一个特征的平方和第二个特征的平方相加小于1.5，小于1.5为1，大于为0，然后绘制图像
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(666)
X = np.random.normal(0,1,size=(200,2))
y = np.array(X[:,0]**2 + X[:,1]**2 < 1.5,dtype='int')
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
使用逻辑回归，使用封装好的方法，进行实例化，然后fit操作
from LogisticRegression import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(X,y)
可以得到准确度
log_reg.score(X,y)
结果如下
图像绘制函数：
from matplotlib.colors import ListedColormap
def plot_decision_boundary(model, axis):
x0,x1 = np.meshgrid(
np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1)
)
X_new = np.c_[x0.ravel(),x1.ravel()]
y_predict = model.predict(X_new)
zz = y_predict.reshape(x0.shape)
custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
绘制决策边界
plot_decision_boundary(log_reg,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
添加多项式项，详细参照这里的思想
简要概述：做一个为逻辑回归添加多项式项的管道
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
def PolynomialLogisticRegression(degree):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression())
])
进行实例化，最后fit操作
poly_log_reg = PolynomialLogisticRegression(degree=2)
poly_log_reg.fit(X,y)
结果如下
其准确率为
绘制图像：
plot_decision_boundary(poly_log_reg,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
设置degree为20，再试验一下
poly_log_reg2 = PolynomialLogisticRegression(degree=20)
poly_log_reg2.fit(X,y)
结果如下
绘制图像：
plot_decision_boundary(poly_log_reg2,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
出现这种决策边界很奇怪的情况，估计就是degree太大了，导致了形状不太规则，显然发生了过拟合的形象，模型越复杂越容易产生过拟合的情况，此时就要解决过拟合的情况，使用模型正则化就可以很好的解决
在逻辑回归中使用正则化同时使用sklearn中的逻辑回归
为逻辑回归添加正则项
关于正则项，可以
点击这里
这里可以使用新的计算方式
这种方式的好处是，如果c越大，在优化损失函数的时候就可以更好更快的将前项减到最小，这种就是在sklearn中的使用的方式
具体实现
（在notebook中）
与上面不同的是，生成的测试用例不同，对第一个特征平方，第二个特征为正常，同样的使相加的和小于1.5，添加一些噪音，挑二十个点，将其强制变为分类结果为1
np.random.seed(666)
X = np.random.normal(0,1,size=(200,2))
y = np.array(X[:,0]**2 + X[:,1] < 1.5,dtype='int')
for _ in range(20):
y[np.random.randint(200)] = 1
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
使用sklearn来进行逻辑回归
首先还是分割数据集，要想使用sklearn中的逻辑回归，调用LogisticRegression即可，实例化以后在进行fit，传入训练集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=666)
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression()
log_reg.fit(X_train,y_train)
然后看一下在训练数据集上的模拟的准确度
log_reg.score(X_train,y_train)
结果如下
再看一下在测试数据集上的结果
log_reg.score(X_test,y_test)
结果如下
绘制函数：
from matplotlib.colors import ListedColormap
def plot_decision_boundary(model, axis):
x0,x1 = np.meshgrid(
np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1)
)
X_new = np.c_[x0.ravel(),x1.ravel()]
y_predict = model.predict(X_new)
zz = y_predict.reshape(x0.shape)
custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
调用绘制函数以后绘制图像
plot_decision_boundary(log_reg,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
和上面一样，使用管道来组合一个多项式逻辑回归方法
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
def PolynomialLogisticRegression(degree):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression())
])
然后进行实例化，设置degree为2，并进行fit操作
poly_log_reg = PolynomialLogisticRegression(degree=2)
poly_log_reg.fit(X_train,y_train)
然后看一下在训练数据集上的模拟的准确度
poly_log_reg.score(X_train,y_train)
结果如下
再看一下在测试数据集上的结果
poly_log_reg.score(X_test,y_test)
结果如下
绘制决策边界
plot_decision_boundary(poly_log_reg,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
设置degree为20
poly_log_reg2 = PolynomialLogisticRegression(degree=20)
poly_log_reg2.fit(X_train,y_train)
训练数据集准确度结果如下
测试数据集准确度结果如下（此时可以看出来一些过拟合的现象）
绘制出决策边界
plot_decision_boundary(poly_log_reg2,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
设置一个新的管道，传入一个新的C的参数，然后调用操作，设置c为0.1，degree为20
def PolynomialLogisticRegression(degree,C):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression(C=C))
])
poly_log_reg3 = PolynomialLogisticRegression(degree=20,C=0.1)
poly_log_reg3.fit(X_train,y_train)
训练数据集准确度结果如下
测试数据集准确度结果如下
绘制决策边界
plot_decision_boundary(poly_log_reg3,axis=[-4,4,-4,4])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
图像如下
多设置一个参数penalty，设置以后进行操作
def PolynomialLogisticRegression(degree,C,penalty='l1'):
return Pipeline([
('poly',PolynomialFeatures(degree=degree)),
('std_scaler',StandardScaler()),
('log_reg',LogisticRegression(C=C,penalty=penalty))
])
poly_log_reg4 = PolynomialLogisticRegression(degree=20,C=0.1,penalty='l1')
poly_log_reg4.fit(X_train,y_train)
此时报错
这里表示Solver仅能使用L2正则项，意思是只能使用L2正则项？（疑惑）
那怎么使用L1正则项来添加呢？
乂，我也不清楚…
等大佬解答
