R语言机器学习算法实战系列（十）自适应提升分类算法 (Adaptive Boosting)
禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者!
文章目录
-
- 介绍
-
- 原理
- 步骤
- 教程
- 下载数据
- 加载R包
- 导入数据
- 数据预处理
- 数据描述
- 数据切割
- 调节参数
- 构建模型
- 预测测试数据
- 评估模型
-
- 模型准确性
- 混淆矩阵
- 模型评估指标
- ROC Curve
- PRC Curve
- 特征的重要性
- 保存模型
- 总结
-
- 优点
- 缺点
- 系统信息
介绍
AdaBoost（Adaptive Boosting）算法是一种集成学习算法，它通过组合多个弱分类器来构建一个强分类器。AdaBoost的核心思想是提高那些被前一个弱分类器错误分类的样本的权重，从而使得后续的弱分类器更加关注这些难以分类的样本。
原理
- 弱学习器：AdaBoost算法使用弱学习器，这些学习器的性能略高于随机猜测（即准确率略高于50%）。弱学习器通常选择简单模型，如决策树桩（决策树的一层）。
- 权重调整：在训练过程中，AdaBoost算法会根据每个弱学习器的性能调整样本的权重。错误分类的样本会被赋予更高的权重，而正确分类的样本的权重会降低。
- 迭代训练：AdaBoost算法通过迭代的方式训练多个弱学习器。在每一轮迭代中，都会根据当前的样本权重分布训练一个新的弱