【集成学习】Bagging、Boosting、Stacking算法详解
文章目录
- 1. 相关算法详解：
- 2. 算法详细解释：
- 2.1 Bagging：
- 2.2 Boosting：
- 2.3 Stacking：
- 2.4 K-fold Multi-level Stacking：
集成学习（Ensemble Learning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。它通过将多个学习器的结果集成起来，使得最终的模型性能更强，具有更好的泛化能力。常见的集成学习框架包括：Bagging、Boosting、Stacking
1. 相关算法详解：
- 【集成学习】Bagging算法详解
- 【集成学习】Boosting算法详解
- 【集成学习】Stacking算法详解
| 集成学习 | 代表算法 | 减小方差（Varience） | 减小偏差（Bias） |
|---|---|---|---|
| Bagging | 随机森林 | Y | |
| Boosting | XGBoost、LightGBM、AdaBoost、Gradient Boosting | Y | |
| Stacking | - | Y | |
| K-flod multi-level stacking | K折交叉验证 + Stacking | Y | Y |
2. 算法详细解释：
2.1 Bagging：
- 代表算法： 随机森林 (Random Forest)
- 特点： Bagging 通过对训练集进行多次有放回的抽样，训练多个基学习器（通常是决策树），然后将这些基学习器的预测结果进行投票（分类任务）或平均（回归任务）得到最终的预测结果。由于不同基学习器之间的独立性，Bagging 可以显著减少模型的方差，提升预测的稳定性
- 方差和偏差： 主要用于减少方差
2.2 Boosting：
- 代表算法： XGBoost, LightGBM, AdaBoost, Gradient Boosting
- 特点： Boosting 是一种顺序化的集成学习方法，每个新模型都根据前一个模型的误差进行训练。通过在每一轮训练中给错分样本更大的权重，从而减少模型的偏差。Boosting 算法的关键在于每个弱学习器都在前一个模型的残差上进行训练
- 方差和偏差： 主要用于减少偏差，虽然某些Boosting方法（如XGBoost）也有一定的方差控制能力
2.3 Stacking：
- 代表算法： -（没有固定的代表算法）
- 特点： Stacking 是一种多层次的集成方法，在第一层训练多个基学习器并对其进行预测，然后使用一个新的模型（通常是线性回归或其他强学习器）来根据这些基学习器的输出预测最终结果。Staking 通过将多个基学习器的预测结果作为输入提供给另一个模型，从而综合不同模型的优势，减少偏差
- 方差和偏差： 主要用于减少偏差
2.4 K-fold Multi-level Stacking：
- 代表算法： K折交叉验证 + Stacking
- 特点： 结合了K折交叉验证和Stacking的优点，使用K折交叉验证来训练多个不同的模型（或同一模型的不同训练集），然后将它们的预测结果作为输入交给第二层模型（通常是Stacking），进一步提高模型的性能。这种方法在多层次上综合了不同学习器的优势，从而有效地降低方差和偏差
- 方差和偏差： 同时减少方差和偏差