什么是AdaBoost
1. 背景与概述
AdaBoost全称为Adaptive Boosting（自适应提升），是提升（Boosting）算法家族中的一种，提升算法最早由Yoav Freund和Robert Schapire提出。Boosting的思想是将多个表现一般的“弱分类器”组合起来形成一个表现更强的“强分类器”。AdaBoost是该领域中最具代表性的一种算法。
核心思想
AdaBoost通过多次训练弱分类器，并在每次训练中动态调整样本的权重，使得后续的分类器能够更关注先前分类错误的样本，从而逐步提升整体分类器的准确性。最终通过将弱分类器按一定的权重加权组合起来，实现对数据的强分类。
2. AdaBoost的具体步骤
假设有一个训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } D = \{(x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\} D={(x1,y1),(x2,y2),…,(xN,yN)}，其中每个样本的特征 x i x_i xi 属于特征空间 R n \mathbb{R}^n Rn，标签 y i y_i yi 属于 {−1, +1}。
步骤 1：初始化样本权重
在开始训练之前，初始化所有训练样本的权重，设为均匀分布，即每个样本的权重都相同：
w
1
,
i
=
1
N
,
i
=
1
,
2
,
…
,
N
w_{1,i} = \frac{1}{N}, \quad i = 1, 2, \dots, N
w1,i=N1,i=1,2,…,N
其中 w 1 , i w_{1,i} w1,i 表示样本 i i i 在第1轮训练中的权重。初始时，所有样本权重都为 1 N \frac{1}{N} N1，即所有样本都被平等对待。
步骤 2：迭代训练多个弱分类器
对于每一轮 t = 1 , 2 , … , T t = 1, 2, \dots, T t=1,2,…,T，执行以下步骤：
-
在当前权重分布下训练弱分类器：使用训练集 D D D 和当前样本权重 w t w_t wt，训练一个弱分类器 G t ( x ) G_t(x) Gt(x)。
-
计算分类误差率 ϵ t \epsilon_t ϵt：在当前权重分布下，计算弱分类器 G t ( x ) G_t(x) Gt(x) 的加权错误率，即该分类器在当前权重分布下错分样本的总权重。
ϵ t = ∑ i = 1 N w t , i ⋅ I ( G t ( x i ) ≠ y i ) \epsilon_t = \sum_{i=1}^N w_{t,i} \cdot I(G_t(x_i) \neq y_i) ϵt=i=1∑Nwt,i⋅I(Gt(xi)=yi)其中， I ( G t ( x i ) ≠ y i ) I(G_t(x_i) \neq y_i) I(Gt(xi)=yi) 是指示函数，若 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi 则为1，否则为0。
-
计算弱分类器的权重系数 α t \alpha_t αt：使用分类误差率 ϵ t \epsilon_t ϵt 来决定当前弱分类器的权重，误差率越小，权重系数 α t \alpha_t αt 越大。
α t = 1 2 log 1 − ϵ t ϵ t \alpha_t = \frac{1}{2} \log \frac{1 - \epsilon_t}{\epsilon_t} αt=21logϵt1−ϵt解释：若 ϵ t < 1 2 \epsilon_t < \frac{1}{2} ϵt<21，则 α t > 0 \alpha_t > 0 αt>0，表示该分类器有一定的区分能力；若 ϵ t = 1 2 \epsilon_t = \frac{1}{2} ϵt=21，则 α t = 0 \alpha_t = 0 αt=0，分类器的效果等同于随机猜测。
-
更新样本权重：
更新样本权重，使得下一轮弱分类器更关注当前被错分的样本。新权重定义为：
w t + 1 , i = w t , i ⋅ exp ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))其中 Z t Z_t Zt 是归一化因子，使得所有样本权重和为1。
Z t = ∑ i = 1 N w t , i ⋅ exp ( − α t y i G t ( x i ) ) Z_t = \sum_{i=1}^N w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i)) Zt=i=1∑Nwt,i⋅exp(−αtyiGt(xi))根据上式，若 G t ( x i ) G_t(x_i) Gt(xi) 分类错误，则 w t + 1 , i w_{t+1,i} wt+1,i 增大；若分类正确，则 w t + 1 , i w_{t+1,i} wt+1,i 减小。这种机制使得后续的弱分类器更关注难以分类的样本。
步骤 3：组合弱分类器
经过
T
T
T 轮训练后，将所有弱分类器组合成一个强分类器：
f
(
x
)
=
∑
t
=
1
T
α
t
G
t
(
x
)
f(x) = \sum_{t=1}^T \alpha_t G_t(x)
f(x)=t=1∑TαtGt(x)
最终的分类结果为：
G
(
x
)
=
sign
(
f
(
x
)
)
=
sign
(
∑
t
=
1
T
α
t
G
t
(
x
)
)
G(x) = \text{sign}(f(x)) = \text{sign}\left( \sum_{t=1}^T \alpha_t G_t(x) \right)
G(x)=sign(f(x))=sign(t=1∑TαtGt(x))
其中 sign \text{sign} sign 函数表示取符号，最终的分类器输出 G ( x ) G(x) G(x) 是通过所有弱分类器的加权投票来决定的。
3. 数学直觉与推导
- 弱分类器的权重系数 α t \alpha_t αt： α t \alpha_t αt 反映了弱分类器的区分能力。当分类误差率 ϵ t \epsilon_t ϵt 较低时， α t \alpha_t αt 会较大，表明该分类器在整体结果中起更大作用；当 ϵ t \epsilon_t ϵt 较高时， α t \alpha_t αt 会较小。
- 样本权重更新：通过动态调整样本权重，AdaBoost能够引导弱分类器更加关注难以正确分类的样本，从而逐步改善模型性能。
- 组合规则：最终的强分类器是多个弱分类器的加权和，这种加权组合方式能有效地降低误差。
4. AdaBoost的优缺点
优点
- 自适应性强：AdaBoost能够自动关注错误分类样本，提高模型对难分类样本的处理能力。
- 不易过拟合：在适度控制弱分类器复杂度的前提下，AdaBoost算法在训练过程中不易出现过拟合问题。
- 不需要调参：相比于一些其他算法，AdaBoost的参数较少，尤其在弱分类器是决策树时，通常只需要设置迭代次数即可。
缺点
- 对噪声数据敏感：如果数据集中有噪声或异常点，AdaBoost会对这些数据点反复增加权重，导致模型性能下降。
- 依赖于弱分类器的性能：如果弱分类器性能非常差（如误差率超过50%），AdaBoost的效果也会受到影响。
5. AdaBoost的应用场景
- 二分类任务：例如，人脸识别、垃圾邮件过滤和情感分类。
- 多分类任务：AdaBoost可以扩展为多分类版本，通过改进策略或使用One-vs-All方法应对多类情况。
- 图像处理和对象检测：在计算机视觉领域中，AdaBoost与级联结构结合应用于实时人脸检测。
总结
AdaBoost是一种经典的提升算法，通过加权组合多个弱分类器形成一个强分类器。其核心思想是通过样本权重的动态调整，使得弱分类器逐步关注难分类的样本。AdaBoost算法简单但高效，适合处理各种分类问题。