线性可分支持向量机的原理推导 9-28支持向量机优化中的可行性条件 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式 9-28 是支持向量机（SVM）优化中的可行性条件，它是 Karush-Kuhn-Tucker（KKT）条件的一部分。该条件确保所有样本点的约束都被正确满足。公式 9-28 具体表示为：
$$y_i\left(w^{\ast T}{x}_i+b^{\ast }\right)-1\ge 0,i=1,2,\dots ,N$$

1. 公式的含义

这个公式表达的是支持向量机中对所有训练样本 $x_i$ 的分类条件，它确保每个样本点 $x_i$ 都满足以下条件：

• 对于正类样本（$y_i=+1$）：它们必须位于决策边界的“上方”或恰好位于边界上，即：
  $$w^{\ast T}{x}_i+b^{\ast }\ge 1$$

  这意味着这些样本点必须至少在分类超平面的一侧距离为 1，或者恰好在分类超平面上。

• 对于负类样本（$y_i=-1$）：它们必须位于决策边界的“下方”或恰好位于边界上，即：
  $$w^{\ast T}{x}_i+b^{\ast }\le -1$$

  这意味着这些样本点必须在分类超平面的另一侧，距离至少为 1，或者恰好在分类超平面上。

这个条件本质上规定了样本点在 SVM 中的分类结果：所有样本点要么在正确的一侧（被正确分类），要么位于分类边界的边缘（即支持向量）。如果约束不满足，分类器无法正确地将样本分类。

2. 推导背景

在支持向量机中，优化的目标是找到一个超平面 $w^{T}x+b=0$，该超平面能够将两类样本 $y_i=+1$ 和 $y_i=-1$ 分开，并且最大化它们到超平面的距离（即分类间隔）。

为了确保所有样本都被正确分类，SVM 对每个样本点 $x_i$ 要求满足以下分类条件：
$$y_i(w^T{x}_i+b)\ge 1$$

其中：

• $w^T{x}_i+b$：表示样本点 $x_i$ 距离分类超平面的距离（经过归一化）。
• $y_i$：是样本点的类别标签，$y_i=+1$ 对应正类样本，$y_i=-1$ 对应负类样本。

将这个分类条件展开得到：
$$y_i(w^T{x}_i+b)-1\ge 0$$

这个表达式就是公式 9-28。它表明每个样本点 $x_i$ 的分类结果至少满足距离分类超平面 1 个单位的分类间隔。

3. 几何意义

几何上，公式 9-28 定义了样本点相对于分类超平面的位置：

• 支持向量：对于那些位于分类超平面边界上的样本点，条件 $y_i(w^{\ast T}{x}_i+b^{\ast })=1$ 严格成立。这些点正好位于分类边界上，它们被称为支持向量，它们直接决定了分类超平面的形状和位置。

• 非支持向量：对于那些距离分类超平面更远的样本点，条件 $y_i(w^{\ast T}{x}_i+b^{\ast })>1$ 成立。这些点被正确分类，但它们对分类超平面的构造没有影响。

公式 9-28 确保了样本点的分类正确性，并确保分类间隔至少为 1。任何不满足该条件的点意味着分类器无法正确分类。

4. 物理解释

• 正类样本的条件：对于 $y_i=+1$ 的样本，公式 9-28 表示 $w^{\ast T}{x}_i+b^{\ast }\ge 1$，这意味着正类样本必须位于分类超平面的“右侧”，并且距离至少为 1。

• 负类样本的条件：对于 $y_i=-1$ 的样本，公式 9-28 表示 $w^{\ast T}{x}_i+b^{\ast }\le -1$，这意味着负类样本必须位于分类超平面的“左侧”，距离也必须至少为 1。

在 SVM 优化过程中，分类间隔的最大化是最主要的目标，而公式 9-28 确保了这个分类间隔的正确性。分类器通过最大化支持向量与分类超平面之间的间隔来确保分类的鲁棒性。

5. 公式 9-28 在 SVM 中的作用

公式 9-28 在支持向量机的优化问题中起到了关键的约束作用，它规定了所有样本点的分类条件，确保样本点被正确分类：

• 保证正确分类：这个条件确保了所有训练样本都被正确分类。正类样本 $y_i=+1$ 必须位于分类超平面的右侧，负类样本 $y_i=-1$ 必须位于分类超平面的左侧。

• 支持向量的定义：当 $y_i(w^{\ast T}{x}_i+b^{\ast })=1$ 时，样本点位于分类边界上，这些点就是支持向量。通过公式 9-28，可以确定哪些点是支持向量，哪些点距离分类超平面较远而不影响分类边界的构造。

• 筛选非支持向量：对于那些 $y_i(w^{\ast T}{x}_i+b^{\ast })>1$ 的样本点，它们虽然被正确分类，但距离超平面较远，因此它们对分类器的构造没有影响。这些点的拉格朗日乘子 ${\alpha }_i=0$，它们不作为支持向量。

6. KKT 条件中的可行性条件

公式 9-28 是 KKT 条件中的可行性条件，它要求 SVM 的解不仅要最大化分类间隔，还必须满足分类约束。可行性条件的作用是确保分类器找到的解在约束条件下是可行的，也就是所有样本点被正确分类。

7. 总结

公式 9-28 是支持向量机中的一个核心约束条件，它规定了所有训练样本的分类条件，确保每个样本点都被正确分类，并且支持向量位于分类边界上。这个条件是 KKT 条件的一部分，确保优化问题的可行性。在 SVM 优化过程中，公式 9-28 保证了分类器的构造满足分类间隔最大化的要求。