线性可分支持向量机的原理推导 9-32线性分类超平面的位置 公式解析
本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。
公式 9-32 是线性可分支持向量机（SVM）中的一个关键公式，用于表达线性分类超平面的位置。通过这个公式，我们可以确定支持向量机的分类边界，并通过分类器将正类样本与负类样本分隔开。
公式 9-32 的表达式为：
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
)
+
b
∗
=
0
\sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x) + b^* = 0
i=1∑Nαi∗yi(xi⋅x)+b∗=0
1. 公式的含义
公式 9-32 表示了支持向量机的分类超平面条件，描述了分类边界上的点的特征。这个公式的含义如下：
- α i ∗ \alpha_i^* αi∗：是第 i i i 个样本点的最优拉格朗日乘子。只有 α i ∗ > 0 \alpha_i^* > 0 αi∗>0 的点才会对分类超平面的构造产生实际影响，这些点被称为支持向量。
- y i y_i yi：是第 i i i 个样本的类别标签，取值为 + 1 +1 +1 或 − 1 -1 −1。
- x i x_i xi：是第 i i i 个样本的特征向量。
- x x x：是任意待分类的点。
- b ∗ b^* b∗：是分类超平面的偏置，也称为截距。它定义了分类超平面在特征空间中的位置。
- ( x i ⋅ x ) (x_i \cdot x) (xi⋅x)：表示支持向量 x i x_i xi 与待分类点 x x x 的内积，反映了这两个点在特征空间中的相似性。
这个公式用于定义分类边界的点。对于位于分类超平面上的点，公式 9-32 的结果为 0，表示这些点恰好位于分类边界上。
2. 推导过程
公式 9-32 源于支持向量机的对偶问题的解。我们首先回顾一下支持向量机的目标是找到一个分类超平面：
w
T
x
+
b
=
0
w^T x + b = 0
wTx+b=0
其中，法向量 w w w 决定了超平面的方向，偏置 b b b 决定了超平面的具体位置。
根据拉格朗日乘子法，法向量
w
w
w 可以表示为所有支持向量的加权和：
w
=
∑
i
=
1
N
α
i
∗
y
i
x
i
w = \sum_{i=1}^{N} \alpha_i^* y_i x_i
w=i=1∑Nαi∗yixi
将这个表达式代入分类超平面方程
w
T
x
+
b
=
0
w^T x + b = 0
wTx+b=0 中，得到：
(
∑
i
=
1
N
α
i
∗
y
i
x
i
)
T
x
+
b
∗
=
0
\left( \sum_{i=1}^{N} \alpha_i^* y_i x_i \right)^T x + b^* = 0
(i=1∑Nαi∗yixi)Tx+b∗=0
将内积展开，得到：
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
)
+
b
∗
=
0
\sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x) + b^* = 0
i=1∑Nαi∗yi(xi⋅x)+b∗=0
这个方程描述了位于分类超平面上的所有点的特征。因此，公式 9-32 表示分类边界上的点满足的条件。
3. 几何意义
几何上，公式 9-32 表示了支持向量机的分类超平面，它定义了将正类样本和负类样本分隔开的超平面。分类超平面的方程通过支持向量和待分类点的内积计算，确保分类器能够正确划分正类和负类样本。
- 支持向量的作用：分类超平面的构造是通过所有支持向量 x i x_i xi 的加权和来决定的。拉格朗日乘子 α i ∗ \alpha_i^* αi∗ 的值决定了每个支持向量对超平面构造的贡献。
- 内积的作用：内积 ( x i ⋅ x ) (x_i \cdot x) (xi⋅x) 表示支持向量 x i x_i xi 和待分类点 x x x 之间的相似性。相似度越高的点对分类边界的影响越大。
4. 物理解释
从物理角度看，公式 9-32 表示分类器如何根据支持向量的位置来决定分类超平面的位置。通过对所有支持向量的内积计算，分类器能够精确地确定分类超平面的位置。
-
分类超平面的位置：通过所有支持向量 x i x_i xi 和它们的拉格朗日乘子 α i ∗ \alpha_i^* αi∗ 的加权和，分类器能够确定分类超平面的位置。偏置 b ∗ b^* b∗ 确保分类超平面不会偏向某一类，而是在特征空间中保持平衡。
-
支持向量之间的影响：支持向量之间的内积 ( x i ⋅ x ) (x_i \cdot x) (xi⋅x) 反映了它们对分类边界的相对影响。支持向量 x i x_i xi 对于待分类点 x x x 的影响通过内积体现出来，从而决定了分类的结果。
5. 公式在 SVM 中的作用
公式 9-32 是支持向量机中用于定义分类超平面的关键公式之一。通过这个公式，我们可以描述分类器的超平面并决定哪些点位于超平面上，从而确定分类器的分类边界。
-
定义分类边界：公式 9-32 描述了分类超平面的方程。通过这个方程，我们可以判断哪些点位于分类边界上，并且确保分类器能够准确划分正类和负类样本。
-
构造分类器：有了分类超平面的方程后，分类器就可以用来对新样本进行分类。如果一个样本点满足公式 9-32，它就是位于分类边界上的点；否则，根据结果的符号可以判断它属于正类还是负类。
6. 分类决策函数
公式 9-32 还与支持向量机的分类决策函数相关联。分类决策函数
f
(
x
)
f(x)
f(x) 定义为：
f
(
x
)
=
w
T
x
+
b
=
∑
i
=
1
N
α
i
∗
y
i
(
x
i
⋅
x
)
+
b
∗
f(x) = w^T x + b = \sum_{i=1}^{N} \alpha_i^* y_i (x_i \cdot x) + b^*
f(x)=wTx+b=i=1∑Nαi∗yi(xi⋅x)+b∗
根据决策函数的符号，我们可以判断点 x x x 的类别：
- 如果 f ( x ) > 0 f(x) > 0 f(x)>0，则 x x x 被分类为正类（ y = + 1 y = +1 y=+1）。
- 如果 f ( x ) < 0 f(x) < 0 f(x)<0，则 x x x 被分类为负类（ y = − 1 y = -1 y=−1）。
- 如果 f ( x ) = 0 f(x) = 0 f(x)=0，则 x x x 恰好位于分类超平面上。
7. 总结
公式 9-32 表达了支持向量机的分类超平面的方程，用于确定分类器的决策边界。通过这个公式，我们可以描述位于分类超平面上的点，并利用内积来确定支持向量之间的相似性，从而构造出准确的分类超平面。