机器学习-核函数（Kernel Function）
核函数（Kernel Function）是一种数学函数，主要用于将数据映射到一个更高维的特征空间，以便于在这个新特征空间中更容易找到数据的结构或模式。核函数的主要作用是在不需要显式计算高维特征空间的情况下，通过内积操作来实现高维映射，从而简化计算。
核函数的作用
-
处理非线性问题：很多机器学习算法（如支持向量机）在原始特征空间中仅能处理线性可分数据。通过核函数，可以将数据映射到更高的特征空间，使得即使在原始空间中非线性可分的数据，也可以在线性可分的高维空间中找到分离超平面。
-
提高模型的灵活性：通过选择不同的核函数，模型可以适应不同类型的数据分布，从而优化分类、回归等任务的性能。
-
避免维度灾难：直接进行高维计算可能会带来计算复杂度高和数据稀疏的问题。核函数通过计算内积的方式在更低的维度上完成挑战，从而减轻了这一问题。
常用的核函数
- 线性核：
于线性可分数据。
- 多项式核：
其中 c是常数，d是多项式的度数。
- 高斯（RBF）核：
高斯核非常常用，能够处理许多非线性问题。 - Sigmoid核：
适用于神经网络的某些模型。
这些核函数在选择和应用时可以根据具体问题的需要而定。不同的核函数对模型的表现可以产生显著影响，因此在实践中往往需要进行选择和调优。
例子：使用高斯 (RBF) 核的支持向量机
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix
# 生成一个分类数据集
X, y = datasets.make_moons(n_samples=100, noise=0.1, random_state=42)
# 分割数据集为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 创建高斯核支持向量机模型
svm_rbf = SVC(kernel='rbf', gamma='scale')
# 训练模型
svm_rbf.fit(X_train, y_train)
# 对测试集进行预测
y_pred = svm_rbf.predict(X_test)
# 输出分类报告
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))
print("\nClassification Report:\n", classification_report(y_test, y_pred))
# 可视化结果
plt.scatter(X_test[:, 0], X_test[:, 1], c=y_pred, cmap='coolwarm', s=50, edgecolor='k')
plt.title('SVM with RBF Kernel')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()示例 2: 使用线性核的支持向量机
# 生成一个线性可分的数据集
X_linear, y_linear = datasets.make_blobs(n_samples=100, centers=2, random_state=6)
# 分割数据集为训练集和测试集
X_train_linear, X_test_linear, y_train_linear, y_test_linear = train_test_split(X_linear, y_linear, test_size=0.3, random_state=42)
# 创建线性核支持向量机模型
svm_linear = SVC(kernel='linear')
# 训练模型
svm_linear.fit(X_train_linear, y_train_linear)
# 对测试集进行预测
y_pred_linear = svm_linear.predict(X_test_linear)
# 输出分类报告
print("\nConfusion Matrix (Linear SVM):\n", confusion_matrix(y_test_linear, y_pred_linear))
print("\nClassification Report (Linear SVM):\n", classification_report(y_test_linear, y_pred_linear))
# 可视化结果
plt.scatter(X_test_linear[:, 0], X_test_linear[:, 1], c=y_pred_linear, cmap='coolwarm', s=50, edgecolor='k')
plt.title('SVM with Linear Kernel')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.show()