机器学习 作业7 逻辑回归实践

1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下）

（1）增加样本量，这是万能的方法，适用任何模型； 如果数据稀疏，使用L1正则，其他情况，用L2要好，可自己尝试； 通过特征选择，剔除一些不重要的特征，从而降低模型复杂度； 如果还过拟合，那就看看是否使用了过度复杂的特征构造工程，比如，某两个特征相乘/除/加等方式构造的特征，不要这样做了，保持原特征；检查业务逻辑，判断特征有效性，是否在用结果预测结果等；最总要的，逻辑回归特有的防止过拟合方法:进行离散化处理，所有特征都离散化。

（2）过拟合的时候，拟合函数的系数往往非常大，而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

2.用logiftic回归来进行实践操作，数据不限。

import pandas as pd
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report

def logistic():
    '''逻辑回归进行肿瘤预测'''

    # 读取数据
    data = pd.read_csv('breast-cancer-wisconsin.csv')

    # 缺失值处理
    data = data.replace(to_replace='?', value=np.nan)
    data = data.dropna()
    X = data.iloc[:, 1:10]
    y = data.iloc[:, 10]

    # 数据分割
    x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

    # 数据标准化处理
    std = StandardScaler()
    x_train = std.fit_transform(x_train)
    x_test = std.fit_transform(x_test)

    # 逻辑回归
    lg = LogisticRegression()
    lg.fit(x_train, y_train)
    print(lg.coef_)
    print('准确率为：', lg.score(x_test, y_test))
    print('召回率为：', classification_report(y_test, lg.predict(x_test)))

if __name__ == '__main__':
    logistic()