线性可分支持向量机的原理推导 标准优化目标 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式 9-6 是从之前的最大化间隔问题（公式 9-4 和 9-5）推导出来的支持向量机（SVM）的优化问题。它表示的是一个标准的优化目标，其中我们希望最小化超平面法向量 $\mathbf{w}$ 的大小，同时满足一定的分类约束。

公式 9-6 的形式如下：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$

$$\text{subject to}{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\dots ,N$$

1. 公式 9-6 的含义

优化目标：最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$

• $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 是支持向量机优化中的目标函数，它表示的是超平面法向量 $\mathbf{w}$ 的范数平方的一半。我们希望通过最小化这个函数来最大化分类间隔。

  • 最大化分类间隔的意义：在支持向量机中，超平面法向量 $\mathbf{w}$ 的大小 $\Vert \mathbf{w}\Vert$ 与分类间隔成反比。也就是说，法向量越大，分类间隔就越小，反之，法向量越小，分类间隔越大。因此，最小化 $\Vert \mathbf{w}\Vert$ 是为了最大化间隔，这也是支持向量机的核心目标之一。

  • 为什么使用 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 而不是直接使用 $\Vert \mathbf{w}\Vert$？这里平方的一半是为了方便后续使用梯度下降等优化算法进行求解。平方函数的导数是线性的，方便进行优化步骤。此外，平方不会影响优化目标，因为最小化 $\Vert \mathbf{w}\Vert$ 和最小化 $\Vert \mathbf{w}{\Vert }^2$ 是等价的。

约束条件：$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$

• 这个约束条件确保了样本点被正确分类，同时每个样本点到超平面的几何距离至少为 1。

  • 分类函数：${\mathbf{w}}^T{\mathbf{x}}_i+b$ 是超平面方程，表示样本 ${\mathbf{x}}_i$ 相对于超平面的分类结果。
  • $y_i$：是真实的类别标签，取值为 $+1$ 或 $-1$。当 $y_i=1$ 时，约束条件变为 ${\mathbf{w}}^T{\mathbf{x}}_i+b\ge 1$，表示正类样本点应位于超平面的一侧，且离超平面的距离至少为 1；当 $y_i=-1$ 时，约束条件变为 ${\mathbf{w}}^T{\mathbf{x}}_i+b\le -1$，表示负类样本点应位于超平面的另一侧，且离超平面的距离至少为 1。
  • 这个约束确保了所有样本点被正确分类并且它们与超平面的距离不小于 1。

2. 公式 9-6 的推导背景

从公式 9-4 和 9-5 开始，我们的目标是最大化几何间隔 $d$，同时确保所有样本点满足分类约束条件。为了简化这个问题，在公式 9-5 中我们令 $d=1$，将最大化几何间隔的问题转化为最小化法向量 $\mathbf{w}$ 的大小。

具体来说，最大化分类间隔等价于最小化 $\Vert \mathbf{w}\Vert$，这也就转化为了公式 9-6 中的优化目标。

3. 公式 9-6 的几何解释

支持向量机的几何直观解释是：我们试图找到一个可以最大化分类间隔的超平面，使得最靠近超平面的样本点（即支持向量）与超平面的距离最大。在几何上，间隔与法向量 $\mathbf{w}$ 的大小成反比，因此最小化 $\Vert \mathbf{w}\Vert$ 是为了让分类器的决策边界尽可能地远离所有样本点。

4. 约束优化问题

公式 9-6 是一个约束优化问题，目标是在满足分类约束的前提下最小化目标函数。求解这个问题的常见方法是使用拉格朗日乘子法，将约束条件引入到优化目标中，形成一个无约束的优化问题，这将会在后续通过对偶问题的形式进一步讨论。

5. 公式 9-6 的意义

公式 9-6 是支持向量机优化问题的标准形式，它将分类间隔最大化问题转化为一个凸二次规划问题，并且该问题有全局最优解。这个问题的目标函数是二次的，约束条件是线性的，因此称为凸二次规划问题。

总结

• 优化目标：最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$，即最小化法向量的大小，从而最大化分类间隔。
• 约束条件：确保所有样本点被正确分类，并且离超平面的几何距离至少为 1。

公式 9-6 是支持向量机的基本优化问题，它为我们提供了找到最优超平面的数学框架。通过最小化法向量 $\mathbf{w}$ 的大小，我们确保了分类的稳定性和鲁棒性。