R语言机器学习算法实战系列（十四）: CatBoost分类算法+SHAP值 (categorical data gradient boosting)
禁止商业或二改转载，仅供自学使用，侵权必究，如需截取部分内容请后台联系作者!
文章目录
-
- 介绍
-
- CatBoost的原理
- CatBoost的步骤
- 教程
- 下载数据
- 加载R包
- 导入数据
- 数据预处理
- 数据描述
- 数据切割
- 设置数据对象
- 调节参数
- 训练模型
- 预测测试数据
- 评估模型
-
- 模型准确性
- 混淆矩阵
- 模型评估指标
- ROC Curve
- PRC Curve
- 特征的重要性
- 模型解释
- 保存模型
- 总结
-
- 优点
- 缺点
- 系统信息
介绍
CatBoost是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的集成模型，它在传统GBDT的基础上引入了一系列关键技术创新，以提升处理类别型特征和缺失值的能力，以及整体模型性能。以下是CatBoost的原理和步骤：
CatBoost的原理
- 类别型特征处理：CatBoost直接处理类别型特征，而不需要进行复杂的预处理。它采用了对类别特征的目标编码，并通过平均值进行平滑处理，避免过拟合。
- 顺序建树：CatBoost采用顺序建树算法，避免了传统GBDT中信息泄漏的问题。顺序建树确保每棵树在构建时只能看到前面树的预测结果，而不会看到当前树的预测结果。
- 对称树结构：CatBoost使用对称树结构，即每棵树的所有节点都按照相同的特征和