SVM模型（理论知识3）
目录
- 非线性可分的SVM模型
- 目标函数
- 目标函数的求解
- 核函数
非线性可分的SVM模型
目标函数
对于非线性SVM模型而言，需要经过两个步骤，一个是将原始空间中的样本点映射到高维的新空间中，另一个是在新空间中寻找一个用于识别各类别样本点线性"超平面"。
假设原始空间的样本点为x,将样本通过某种转换 ϕ ( x ) \phi(x) ϕ(x)映射到高维空间中，则非线性SVM模型的目标函数可以表示为：
目标函数的求解
其中，内积 ϕ ( x i ) ∗ ϕ ( x j ) \phi(x_i)*\phi(x_j) ϕ(xi)∗ϕ(xj)可以利用核函数替换，即 K ( x i , x j ) = ϕ ( x i ) ∗ ϕ ( x j ) K(x_i,x_j) =\phi(x_i)*\phi(x_j) K(xi,xj)=ϕ(xi)∗ϕ(xj)。对于上式而言，同样需要计算最优的拉格朗日乘子 α i \alpha_i αi,进而可以得到线性超平面w与b的值：
核函数
假设原始空间中的两个样本点为 ( x i , x j ) (x_i,x_j) (xi,xj),在其扩展到高维空间后，它们的内积 ϕ ( x i ) ∗ ϕ ( x j ) \phi(x_i)*\phi(x_j) ϕ(xi)∗ϕ(xj)，如果等于样本点 ( x i , x j ) (x_i,x_j) (xi,xj)在原始空间中某个函数的输出，那么该函数就称为核函数。
线性核函数
多项式核函数
高斯核函数
sigmoid核函数
经验之谈：大多数情况下，选择高斯核函数是一种相对偷懒而有效的方法，因为高斯核是一种指数函数，它的泰勒展开式可以是无穷维的，即相当于把原始样本点映射到高维空间中。