线性可分支持向量机的原理推导 9-26对拉格朗日函数L(w,b,α) 关于b求导 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式 9-26 的完整形式为：
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$

1. 公式的含义

这个公式表示的是支持向量机（SVM）优化问题中的站点条件之一，也就是最优性条件。具体来说，这是在拉格朗日函数 $L(w,b,\alpha )$ 中对偏置项 $b$ 求导后得到的条件，确保在最优点 $b^{\ast }$ 处，偏导数为 0。

符号“*”表示这些变量是最优解：

• ${\alpha }_i^{\ast }$ 是最优拉格朗日乘子。
• $b^{\ast }$ 是最优的偏置（即超平面的截距）。

这个条件告诉我们，所有拉格朗日乘子 ${\alpha }_i^{\ast }$ 和对应的样本标签 $y_i$ 的加权和为 0。该条件是支持向量机在最优解处对偶问题的一个约束，确保最优超平面对所有样本点的影响保持平衡。

2. 公式的推导

从拉格朗日函数 $L(w,b,\alpha )$ 开始：
$$L(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^N{\alpha }_i\left(y_i(w^T{x}_i+b)-1\right)$$

在这个函数中，$b$ 只出现在约束项 ${\sum }_{i=1}^N{\alpha }_i\left(y_i(w^T{x}_i+b)-1\right)$ 中。

对 $b$ 求导：

我们对 $b$ 求偏导数：
$$\frac{\partial }{\partial b}\left(-\sum _{i=1}^N{\alpha }_i{y}_i(w^T{x}_i+b)\right)=-\sum _{i=1}^N{\alpha }_i{y}_i$$

设置偏导数为 0：

为了找到最优的 $b^{\ast }$，我们将偏导数设为 0：
$$-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$

于是得出公式 9-26：
$$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i=0$$

3. 公式的作用和意义

这个条件表达的是，所有最优拉格朗日乘子 ${\alpha }_i^{\ast }$ 和对应的类别标签 $y_i$ 的加权和为 0。它在支持向量机的优化问题中起到至关重要的平衡作用，确保正类样本和负类样本对分类器的贡献达到平衡。

• 平衡性：该条件确保分类器的偏置 $b^{\ast }$ 不会过度偏向正类或负类样本。在支持向量机的优化过程中，超平面必须保持对正负类样本的平衡，否则分类器可能会偏向一侧。

• 对偶问题中的约束：在 SVM 对偶问题中，优化目标是通过拉格朗日乘子 ${\alpha }_i^{\ast }$ 最大化问题，公式 9-26 作为一个附加的约束条件，确保解的可行性。

4. 几何解释

几何上，公式 9-26 表示正类和负类样本在构造分类超平面时的影响是平衡的。由于 ${\alpha }_i^{\ast }$ 代表每个样本点的权重，而 $y_i$ 表示类别（正类为 $+1$，负类为 $-1$），这个条件确保分类超平面能够保持对称性：

• 如果 ${\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\ne 0$，则分类超平面可能偏向某个类别，这会导致不对称的分类结果。
• 通过 ${\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i=0$，我们保证分类器保持平衡，既不过度偏向正类，也不过度偏向负类。

5. 在 SVM 中的作用

• 优化约束条件：公式 9-26 是 SVM 优化中的约束条件之一，确保在拉格朗日乘子 ${\alpha }_i^{\ast }$ 优化的过程中，解满足对偶问题的可行性，并且平衡正负类样本的影响。

• 支持向量的贡献：由于只有 ${\alpha }_i^{\ast }>0$ 的点是支持向量，公式 9-26 还决定了这些支持向量如何通过 ${\alpha }_i^{\ast }$ 的权重对分类器的构造产生影响。

6. 公式的物理意义

• 平衡正负类样本：正类和负类样本通过其拉格朗日乘子 ${\alpha }_i^{\ast }$ 对超平面的构造产生影响，公式 9-26 保证了这两类样本的影响是平衡的，这使得分类超平面既不会偏向正类，也不会偏向负类。

• 保证分类器的正确性：这个约束条件在优化过程中起到至关重要的作用。通过该条件，我们能够确保在最优条件下，分类器的偏置 $b^{\ast }$ 是由所有支持向量（正类和负类）共同决定的。

7. 总结

公式 9-26 是 SVM 对偶问题中的一个关键约束条件，它确保所有最优拉格朗日乘子和类别标签的加权和为 0。这个条件在 SVM 的优化过程中有助于保持分类超平面的平衡性，确保分类器不会偏向任何一类样本。通过优化拉格朗日乘子 ${\alpha }_i^{\ast }$，并结合该约束条件，我们能够找到满足约束条件的最优分类超平面。