12.4

实验五：BP 神经网络算法实现与测试

一、实验目的

深入理解 BP 神经网络的算法原理，能够使用 Python 语言实现 BP 神经网络的训练与测试，并且使用五折交叉验证算法进行模型训练与评估。

二、实验内容

（1）从 scikit-learn 库中加载 iris 数据集，使用留出法留出 1/3 的样本作为测试集（注意同分布取样）；

（2）使用训练集训练 BP 神经网络分类算法；

（3）使用五折交叉验证对模型性能（准确度、精度、召回率和 F1 值）进行评估和选择；

（4）使用测试集，测试模型的性能，对测试结果进行分析，完成实验报告中实验五的部分

三、算法步骤、代码、及结果

1. 算法伪代码

1. 导入所需库。

2. 加载并标准化Iris数据集。

3. 划分训练集和测试集。

4. 初始化并训练MLP神经网络。

5. 进行交叉验证并输出结果。

6. 在测试集上评估模型并输出分类报告。

2. 算法主要代码

完整源代码\调用库方法（函数参数说明）

# 导入必要的库
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import classification_report, make_scorer, accuracy_score, precision_score, recall_score, f1_score

# 加载Iris数据集
iris = load_iris()
X, y = iris.data, iris.target

# 标准化特征值
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 按照70%训练集，30%测试集的比例分割数据集，确保类别分布均匀（stratify）
X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.33, random_state=42, stratify=y)

# 创建并训练BP神经网络模型，增加迭代次数并启用早停法
mlp = MLPClassifier(
    hidden_layer_sizes=(10,),
    max_iter=2000, # 增加迭代次数
    random_state=42,
    early_stopping=True, # 启用早停法
    validation_fraction=0.2, # 设置验证集比例
    n_iter_no_change=50, # 设置早停条件，连续50次迭代无改善则停止
    learning_rate_init=0.001 # 可选：调整初始学习率
)
mlp.fit(X_train, y_train)

# 定义评分函数
scoring = {
    '准确率': make_scorer(accuracy_score),
    '宏平均精度': make_scorer(precision_score, average='macro'),
    '宏平均召回率': make_scorer(recall_score, average='macro'),
    '宏平均F1分数': make_scorer(f1_score, average='macro')
}

# 使用五折交叉验证评估模型性能
cv_results = {}
for metric, scorer in scoring.items():
    cv_scores = cross_val_score(mlp, X_train, y_train, cv=5, scoring=scorer)
    cv_results[metric] = cv_scores
    print(f"交叉验证 {metric} 分数: {cv_scores}")
    print(f"平均交叉验证 {metric} 分数: {cv_scores.mean()}")

# 使用测试集评估模型性能
y_pred = mlp.predict(X_test)
report = classification_report(y_test, y_pred, target_names=iris.target_names)

# 打印分类报告
print("分类报告:\n", report)

# 打印五折交叉验证的平均得分
print("\n交叉验证总结:")
for metric, scores in cv_results.items():
    print(f"平均交叉验证 {metric} 分数: {scores.mean()}")