在AdaBoost中每轮训练后，为什么错误分类的样本权重会增大e^2αt倍
在 AdaBoost 的每一轮迭代中，样本
i
i
i 的权重更新公式为：
w
t
+
1
,
i
=
w
t
,
i
⋅
exp
(
−
α
t
y
i
G
t
(
x
i
)
)
Z
t
w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t}
wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))
其中：
- w t , i w_{t,i} wt,i 是样本 i i i 在第 t t t 轮的权重。
- α t \alpha_t αt 是该轮弱分类器的权重系数。
- y i y_i yi 是样本 i i i 的真实标签。
- G t ( x i ) G_t(x_i) Gt(xi) 是弱分类器 G t G_t Gt 对样本 i i i 的预测结果。
- Z t Z_t Zt 是归一化因子，用于确保新一轮权重的总和为 1。
权重增大的推导
根据公式，我们分两种情况讨论：
-
当样本被正确分类时，即 G t ( x i ) = y i G_t(x_i) = y_i Gt(xi)=yi：
- 在这种情况下，
y
i
G
t
(
x
i
)
=
1
y_i G_t(x_i) = 1
yiGt(xi)=1，所以权重更新为：
w t + 1 , i = w t , i ⋅ exp ( − α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(−αt)
- 在这种情况下，
y
i
G
t
(
x
i
)
=
1
y_i G_t(x_i) = 1
yiGt(xi)=1，所以权重更新为：
-
当样本被错误分类时，即 G t ( x i ) ≠ y i G_t(x_i) \neq y_i Gt(xi)=yi：
- 在这种情况下，
y
i
G
t
(
x
i
)
=
−
1
y_i G_t(x_i) = -1
yiGt(xi)=−1，所以权重更新为：
w t + 1 , i = w t , i ⋅ exp ( α t ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i=Ztwt,i⋅exp(αt)
- 在这种情况下，
y
i
G
t
(
x
i
)
=
−
1
y_i G_t(x_i) = -1
yiGt(xi)=−1，所以权重更新为：
相对增长倍数的计算
为了计算错误分类的样本权重相对于正确分类样本权重的增长倍数，我们可以比较错误分类的样本权重和正确分类的样本权重之比。
- 错误分类的样本权重更新： w t + 1 , i 错误 = w t , i ⋅ exp ( α t ) Z t w_{t+1,i}^{\text{错误}} = \frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t} wt+1,i错误=Ztwt,i⋅exp(αt)
- 正确分类的样本权重更新： w t + 1 , i 正确 = w t , i ⋅ exp ( − α t ) Z t w_{t+1,i}^{\text{正确}} = \frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t} wt+1,i正确=Ztwt,i⋅exp(−αt)
计算它们的比值，即：
w t + 1 , i 错误 w t + 1 , i 正确 = w t , i ⋅ exp ( α t ) Z t w t , i ⋅ exp ( − α t ) Z t = exp ( 2 α t ) \frac{w_{t+1,i}^{\text{错误}}}{w_{t+1,i}^{\text{正确}}} = \frac{\frac{w_{t,i} \cdot \exp(\alpha_t)}{Z_t}}{\frac{w_{t,i} \cdot \exp(-\alpha_t)}{Z_t}} = \exp(2\alpha_t) wt+1,i正确wt+1,i错误=Ztwt,i⋅exp(−αt)Ztwt,i⋅exp(αt)=exp(2αt)
结论
因此，相对于正确分类的样本，错误分类的样本权重确实增大了 e 2 α t e^{2\alpha_t} e2αt 倍。这个比值反映了AdaBoost通过增加权重让后续的弱分类器更多关注错误分类样本的机制。