线性可分支持向量机的原理推导 最大化几何间隔d 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式 9-4 为：

$$\underset{\mathbf{w},b}{\max }d$$

$$\text{subject to}{y}_i\left(\frac{\mathbf{w}\cdot {\mathbf{x}}_i+b}{\Vert \mathbf{w}\Vert }\right)\ge d,i=1,2,\cdots ,N$$

现在我们来详细解释这个正确的公式 9-4。

1. 公式 9-4 的含义

这个公式描述了支持向量机中的最大化分类间隔的问题。公式中的目标是最大化几何间隔 $d$，并且所有样本点都必须满足约束条件。具体地：

• 目标函数：${\max }_{\mathbf{w},b}d$ 表示我们希望找到一个使几何间隔 $d$ 最大的 $\mathbf{w}$ 和 $b$。
• 约束条件：$y_i\left(\frac{\mathbf{w}\cdot {\mathbf{x}}_i+b}{\Vert \mathbf{w}\Vert }\right)\ge d$，表示每个样本点 ${\mathbf{x}}_i$ 到超平面的几何距离至少为 $d$，同时确保它们被正确分类。

几何间隔解释：

几何间隔是样本点到超平面的距离，在支持向量机中，目标是最大化这个几何间隔，即找到一个最能有效分离不同类别的超平面。

2. 公式推导中的关键

这个公式中的几何间隔 $d$ 通过以下方式表示：
$$\frac{\mathbf{w}\cdot {\mathbf{x}}_i+b}{\Vert \mathbf{w}\Vert }$$

其中：

• $\mathbf{w}\cdot {\mathbf{x}}_i+b$ 表示超平面的分类函数，决定了样本点 ${\mathbf{x}}_i$ 与超平面的相对位置。
• $\Vert \mathbf{w}\Vert$ 是超平面法向量 $\mathbf{w}$ 的范数，表示分类超平面的陡峭程度。

通过将样本点的分类函数归一化为 $\Vert \mathbf{w}\Vert$，可以确保公式计算的是几何意义上的实际距离，而不是受法向量大小影响的带符号距离。

3. 约束条件的意义

约束条件：
$$y_i\left(\frac{\mathbf{w}\cdot {\mathbf{x}}_i+b}{\Vert \mathbf{w}\Vert }\right)\ge d,i=1,2,\cdots ,N$$

确保了每个样本点 ${\mathbf{x}}_i$ 的分类结果与它的真实类别 $y_i$ 一致。具体来说：

• 对于 $y_i=+1$ 的正类样本，约束条件要求 $\mathbf{w}\cdot {\mathbf{x}}_i+b\ge \Vert \mathbf{w}\Vert d$，也就是说，正类样本位于超平面的“正侧”且距离至少为 $d$。
• 对于 $y_i=-1$ 的负类样本，约束条件要求 $\mathbf{w}\cdot {\mathbf{x}}_i+b\le -\Vert \mathbf{w}\Vert d$，负类样本位于超平面的“负侧”且距离至少为 $d$。

因此，这个约束确保了所有样本点不仅被正确分类，而且它们与超平面的距离不小于 $d$。

4. 间隔最大化的思想

支持向量机的核心思想是最大化最小间隔，即找到一个超平面，使得最靠近超平面的样本点（即支持向量）到超平面的距离 $d$ 尽可能大。在这个公式中，目标是直接最大化这个最小间隔 $d$，在保证分类约束条件的情况下。

5. 公式 9-4 的进一步简化

接下来的推导中，最大化几何间隔 $d$ 的优化问题可以进一步简化。因为几何间隔的绝对值 $d$ 实际上不会影响问题的求解，因此在后续公式中我们可以假设 $d=1$，将问题简化为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$

$$\text{subject to}{y}_i(\mathbf{w}\cdot {\mathbf{x}}_i+b)\ge 1,i=1,2,\cdots ,N$$
这就是支持向量机优化问题的标准形式，即最小化法向量的范数 $\Vert \mathbf{w}\Vert$ 的平方，同时确保所有样本点满足分类约束。

总结

公式 9-4 的目的是最大化几何间隔 $d$，确保每个样本点与超平面的距离至少为 $d$ 且被正确分类。这是支持向量机的核心思想，后续通过固定 $d=1$ 来简化优化问题，从而得到最小化 $\mathbf{w}$ 的范数的最终优化形式。