当前位置：首页 > article >正文

Scikit-learn 学习思维导图

article 2025/3/25 22:00:12

Scikit-learn 学习思维导图

说明

数据预处理：包括数据缩放、缺失值处理和类别编码等。
模型选择：通过交叉验证、网格搜索和随机搜索选择最佳模型。
监督学习：涵盖线性模型、决策树、支持向量机和集成方法。
无监督学习：包括聚类、降维和密度估计。
模型评估：使用准确率、混淆矩阵和ROC曲线评估模型性能。
特征工程：涉及特征选择、特征提取和特征构造。
数据预处理：
- 数据缩放
  - StandardScaler: 标准化(z-score标准化),将特征转换为均值为0,方差为1的分布
    - 适用场景:特征分布不同量级,对异常值敏感
    - 优点:保持异常值的影响,可用于有监督学习
    - 缺点:受异常值影响较大
```
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
```
  - MinMaxScaler: 归一化,将特征缩放到[0,1]区间
    - 适用场景:特征分布相对集中,对异常值不敏感
    - 优点:保持零值,压缩所有特征到相同尺度
    - 缺点:不能处理新数据中超出范围的值
```
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)
```
- 缺失值处理
  - SimpleImputer: 使用均值、中位数或常数填充缺失值
    - 适用场景:数据缺失随机,比例不高
    - 优点:实现简单,计算快速
    - 缺点:可能引入偏差
```
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='mean')
X_imputed = imputer.fit_transform(X)
```
  - IterativeImputer: 使用其他特征预测缺失值
    - 适用场景:特征间存在相关性
    - 优点:考虑特征关系,填充更准确
    - 缺点:计算复杂,耗时较长
- 类别编码
  - LabelEncoder: 将类别转换为整数编码
    - 适用场景:标签编码
    - 优点:简单直观
    - 缺点:产生序数关系
  - OneHotEncoder: 独热编码
    - 适用场景:类别特征,无序性
    - 优点:不引入序数关系
    - 缺点:产生稀疏矩阵,维度灾难

完整示例:

模型选择：

交叉验证 (cross_val_score)

适用场景：评估模型泛化性能
优点：减少过拟合风险,结果更可靠
缺点：计算开销大

from sklearn.model_selection import cross_val_score
scores = cross_val_score(model, X, y, cv=5)
print(f"交叉验证分数: {scores.mean():.3f} (+/- {scores.std() * 2:.3f})")

网格搜索 (GridSearchCV)

适用场景：穷举超参数组合
优点：可找到最优参数组合
缺点：计算量大,耗时长

from sklearn.model_selection import GridSearchCV
param_grid = {'max_depth': [3,5,7], 'min_samples_split': [2,3,4]}
grid_search = GridSearchCV(model, param_grid, cv=5)
grid_search.fit(X, y)
print(f"最佳参数: {grid_search.best_params_}")

监督学习：
- 线性回归 (LinearRegression)
  - 适用场景：特征与目标呈线性关系
  - 优点：模型简单,可解释性强
  - 缺点：无法处理非线性关系
```
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X, y)
y_pred = model.predict(X_test)
```
- 决策树 (DecisionTreeClassifier)
  - 适用场景：分类问题,特征重要性分析
  - 优点：易于理解,可处理非线性关系
  - 缺点：容易过拟合
```
from sklearn.tree import DecisionTreeClassifier
model = DecisionTreeClassifier(max_depth=3)
model.fit(X, y)
```
无监督学习：
- K均值聚类 (KMeans)
  - 适用场景：数据分组,客户细分
  - 优点：简单高效
  - 缺点：需预先指定簇数
```
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=3)
clusters = kmeans.fit_predict(X)
```
- 主成分分析 (PCA)
  - 适用场景：降维,特征提取
  - 优点：可降低维度,保留主要信息
  - 缺点：特征不易解释
```
from sklearn.decomposition import PCA
pca = PCA(n_components=2)
X_reduced = pca.fit_transform(X)
```
模型评估：
- 分类报告 (classification_report)
  - 适用场景：分类模型评估
  - 优点：全面的评估指标
  - 缺点：需要真实标签
```
from sklearn.metrics import classification_report
print(classification_report(y_true, y_pred))
```
- ROC曲线 (roc_curve)
  - 适用场景：二分类模型评估
  - 优点：可视化模型性能
  - 缺点：仅适用于二分类
```
from sklearn.metrics import roc_curve, auc
fpr, tpr, _ = roc_curve(y_true, y_pred_proba)
roc_auc = auc(fpr, tpr)
```

特征工程：

特征选择 (SelectKBest)

适用场景：降维,去除无关特征
优点：减少过拟合,提高效率
缺点：可能丢失有用信息

from sklearn.feature_selection import SelectKBest, f_classif
selector = SelectKBest(f_classif, k=5)
X_selected = selector.fit_transform(X, y)

多项式特征 (PolynomialFeatures)
- 适用场景：非线性特征构造
- 优点：捕捉非线性关系
- 缺点：特征数量增长快
```
from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X)
```