线性可分支持向量机的原理推导 转为拉格朗日函数式 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式 9-7 引入了拉格朗日乘子法，这是支持向量机（SVM）优化问题的重要步骤，目的是将原来的带有约束条件的优化问题转化为一个更容易求解的无约束优化问题。

公式 9-7 的形式如下：

$$L(\mathbf{w},b,\alpha )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^N{\alpha }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right]$$

1. 公式 9-7 的含义

这个公式表示的是拉格朗日函数，它结合了原优化目标（最小化 $\Vert \mathbf{w}{\Vert }^2$）和分类约束条件，通过引入拉格朗日乘子 ${\alpha }_i$ 来处理约束问题。

拉格朗日函数的组成部分：

• 第一项：$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$

  • 这是原始的优化目标，即最小化法向量 $\mathbf{w}$ 的范数平方。目的是通过最小化这个值来最大化分类间隔。

• 第二项：$-{\sum }_{i=1}^N{\alpha }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right]$

  • 这一项引入了 拉格朗日乘子 ${\alpha }_i$，用于将原约束条件 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$ 结合到目标函数中。通过引入拉格朗日乘子，约束条件变成了优化目标中的一部分。
  • ${\alpha }_i\ge 0$ 是拉格朗日乘子，对应于每一个样本点 $i$。
  • $\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right]$ 表示对分类约束的偏离。对于正确分类的点，这个值应该大于或等于 0；否则，分类约束会被违反。

2. 拉格朗日乘子法的作用

在支持向量机的优化问题中，我们原本要处理一个带有约束条件的优化问题。为了将这个问题转化为更容易处理的形式，我们使用拉格朗日乘子法将约束条件纳入优化目标中。

• 原优化问题是：
  $$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$$
  $$\text{subject to}{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,\dots ,N$$

• 通过拉格朗日乘子法，我们将约束条件 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$ 用拉格朗日乘子 ${\alpha }_i$ 表示出来，构造了拉格朗日函数 $L(\mathbf{w},b,\alpha )$。

这使得原始的带约束优化问题变成了一个无约束优化问题，我们可以通过同时对 $\mathbf{w},b,\alpha$ 求最优解来处理这个问题。

3. 拉格朗日函数中的每个部分详解

• 第一项 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$：

  • 这个部分是原始的目标函数，目的是最小化法向量的范数，以最大化分类间隔。

• 第二项 ${\sum }_{i=1}^N{\alpha }_i\left[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1\right]$：

  • 这里的每个 ${\alpha }_i$ 是对应第 $i$ 个样本点的拉格朗日乘子。
  • 对于每个 $i$，如果分类约束 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$ 被满足，那么 ${\alpha }_i$ 会取 0；如果不满足，拉格朗日乘子 ${\alpha }_i$ 会影响最终的优化目标。
  • ${\alpha }_i\ge 0$ 表示这个乘子是非负的。对于那些不影响分类间隔的样本点，${\alpha }_i=0$；对于支持向量，${\alpha }_i$ 会大于 0，因为它们对分类结果起到关键作用。

4. 拉格朗日对偶问题

构造拉格朗日函数的目的是将带有约束条件的优化问题转化为一个无约束优化问题。接下来，我们通过拉格朗日对偶问题来进一步简化求解过程。

• 原始问题（Primal Problem）：

  • 即公式 9-6 中的带约束的最小化问题。

• 对偶问题（Dual Problem）：

  • 通过构造拉格朗日函数并对 $\mathbf{w},b$ 求解对偶问题（即找到最优的 $\mathbf{w},b$），我们可以将原问题的复杂度大大降低。对偶问题中的优化变量变为拉格朗日乘子 $\alpha$，这将使得问题的求解更加高效。

5. 公式 9-7 的求解步骤

• 第一步：构造拉格朗日函数，如公式 9-7 所示，将优化目标与约束条件结合起来。
• 第二步：通过对 $\mathbf{w}$ 和 $b$ 求导，找到拉格朗日对偶问题。
• 第三步：通过对拉格朗日乘子 $\alpha$ 进行优化，最终求得支持向量机的最优解。

6. 公式 9-7 的作用

公式 9-7 是支持向量机求解过程中的关键一步，它通过拉格朗日乘子法将原有的带约束的优化问题转化为无约束优化问题，并且将分类约束通过拉格朗日乘子的形式整合到目标函数中。这样一来，我们可以更有效地处理这个问题，并通过求解拉格朗日对偶问题找到最优的分类超平面。

总结

• 公式 9-7 引入了拉格朗日函数，目的是将支持向量机的带约束优化问题转化为无约束问题。
• 拉格朗日乘子 ${\alpha }_i$ 用来处理分类约束，确保样本点被正确分类且间隔最大化。
• 通过对拉格朗日函数求解对偶问题，我们可以找到支持向量机的最优解，并构造出最终的分类超平面。