高斯核函数（深入浅出）

定义及数学形式

对于任意两个样本 $\mathbf{x}$ 与 $\mathbf{y}$，高斯核函数定义为：

$k(\mathbf{x},\mathbf{y})=\exp \left(-\frac{\Vert \mathbf{x}-\mathbf{y}{\Vert }^2}{2{\sigma }^2}\right)$

有时也会写作：

$k(\mathbf{x},\mathbf{y})=\exp \left(-\gamma \Vert \mathbf{x}-\mathbf{y}{\Vert }^2\right)$

其中：

• $\Vert \mathbf{x}-\mathbf{y}\Vert$ 表示 $\mathbf{x}$ 与 $\mathbf{y}$ 的欧几里得距离；
• $\sigma$ 用于控制核函数的宽度，也可用参数 $\gamma =\frac{1}{2{\sigma }^2}$ 代替；
• 当 $\mathbf{x}=\mathbf{y}$ 时，核函数取值为 1；两点距离越大，核函数值衰减越快。

主要特点

1. 非线性映射
   高斯核可以看作是将样本映射到无穷维的特征空间，从而捕捉到更加丰富的特征关系；在原始空间中线性不可分的问题，可能在映射后的高维空间中被线性分割。

2. 平滑且连续
   高斯核呈现出光滑、连续、无界的性质，容易处理大多数实际应用的噪声与不确定性。

3. 调参简洁
   高斯核往往只需要关注一个主要超参数 $\sigma$（或 $\gamma$），通过调节它的大小，即可控制核所“感知”的局部与全局范围：

   • $\sigma$ 小（$\gamma$ 大）会使核函数值衰减更快，模型关注更多的局部信息；
   • $\sigma$ 大（$\gamma$ 小）会使核函数值衰减更慢，模型更加平滑，但有时也会导致过度平滑。

4. 应用广泛
   在支持向量机（SVM）等核方法中，高斯核通常表现出优于其他核函数的稳定效果。在许多实际场景（如图像识别、文本分类、生物信息学等），高斯核都是默认且常用的选择。

应用示例

以下以支持向量机为例，展示高斯核的应用流程：

1. 数据准备
   准备训练数据集 $\{({\mathbf{x}}_i,y_i){\}}_{i=1}^n$。其中 ${\mathbf{x}}_i\in {\mathbb{R}}^d$， y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi​∈{+1,−1}。

2. 选择高斯核
   在训练 SVM 时，指定核函数为高斯核：
   $k({\mathbf{x}}_i,{\mathbf{x}}_j)=\exp \left(-\gamma \Vert {\mathbf{x}}_i-{\mathbf{x}}_j{\Vert }^2\right)$

3. 超参数调优
   使用交叉验证等方法，对 $\gamma$（以及 SVM 中的 C 参数）进行调参，以在训练集和验证集上取得最优表现。

4. 训练与预测
   通过核技巧（Kernel Trick）在对偶空间中求解最优决策边界。之后针对新样本 ${\mathbf{x}}_{\text{new}}$，即可计算：
   $f({\mathbf{x}}_{\text{new}})={\sum }_{i=1}^n{\alpha }_i{y}_i\exp \left(-\gamma \Vert {\mathbf{x}}_i-{\mathbf{x}}_{\text{new}}{\Vert }^2\right)+b$
   若 $f({\mathbf{x}}_{\text{new}})>0$，预测为 $+1$；反之为 $-1$。

小结

高斯核函数通过指数衰减的方式度量样本间的相似度，实现了对样本的非线性映射，常被用作机器学习中的默认核函数之一。它在处理各种高维和复杂分布数据时都有稳定而优异的表现，尤其适用于支持向量机、核岭回归及高斯过程等方法。通过合理选择 $\sigma$（或 $\gamma$），高斯核能在“过拟合”与“欠拟合”之间找到平衡，帮助模型取得更好的泛化能力。