LightGBM：让机器学习更快、更准、更高效
LightGBM：让机器学习更快、更准、更高效
1. 引言
LightGBM（Light Gradient Boosting Machine）是由微软开发的一种高效的梯度提升框架。它的目标是让机器学习模型在保持高精度的同时，训练速度更快、内存消耗更低。LightGBM通过一系列创新技术，如直方图算法、Leaf-wise生长策略等，成为了许多数据科学竞赛和工业应用中的“明星算法”。
2. 算法原理
2.1 核心特点
LightGBM的主要创新点包括：
- 直方图算法：将连续特征离散化为直方图，减少计算量。
- Leaf-wise生长策略：基于最大增益扩展叶子节点，提升模型精度。
- GOSS（基于梯度的单边采样）：通过采样减少数据量，同时保留重要样本。
- EFB（互斥特征捆绑）：将稀疏特征捆绑在一起，减少特征数量。
2.2 算法流程
LightGBM的算法流程可以分为以下几