ML-高级集成学习：混合
ML-高级集成学习：混合
混合
混合与堆叠非常相似。它还使用基础模型将基础预测作为新特征提供，并在新特征上训练新元模型以提供最终预测。唯一的区别是元模型的训练是在一个单独的保持集（例如 10% 的 train_data）上而不是在完整和折叠的训练集上应用的。
第 1 步：train_data 被拆分为 base_train_data 和 holdout_set。
步骤 2：在 base_train_data 上拟合基础模型，并在 holdout_set 和 test_data 上进行预测。这些将创建新的预测特征。
第 3 步：然后使用新的预测特征在 holdout_set 上拟合一个新的元模型。将使用来自 holdout_set 的原始和元特征。
第 4 步：经过训练的元模型用于使用原始元特征和新元特征对测试数据进行最终预测。
示例代码
两个基础模型，决策树和 KNN，将在基础训练数据上进行训练，并对 holdout_set 和 test_data 进行预测。
原始特征和元特征将组合在holdout set和test_data中，并训练一个逻辑回归模型并对test_data进行最终预测。
混合——解释
混合遵循与堆叠相同的方法，但仅使用训练集中的一个保留（验证）集来进行预测。换句话说，与堆叠不同，预测仅在保留集上进行。保留集和预测用于构建在测试集上运行的模型。以下是混合过程的详细说明：
1. 训练集分为训练集和验证集。
2. 模型被安装在训练集上。
3. 对验证集和测试集进行预测。
4. 验证集及其预测被用作构建新模型的特征。
5. 该模型用于对测试和元特征进行最终预测。
示例代码：
我们将在训练集上构建两个模型，决策树和 knn，以便对验证集进行预测。
结合元特征和验证集，建立逻辑回归模型对测试集进行预测。
概括
在本教程中，您了解了如何在 python 中开发和评估混合集成。
具体来说，您了解到：
- 混合集成是一种堆叠类型，其中元模型使用保留验证数据集上的预测而不是折叠预测来拟合。
- 如何开发混合集成，包括用于训练模型和对新数据进行预测的功能。
- 如何评估混合集成以解决分类和回归预测建模问题。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
