当前位置：首页 > article >正文

【漫话机器学习系列】034.决策树（Decision Tree）

article 2025/1/7 13:37:53

决策树（Decision Tree）

决策树是一种常见的监督学习算法，可用于解决分类和回归问题。它通过一系列的条件划分数据集，将样本分配到特定的叶节点，以此进行预测。决策树直观、易于解释，是机器学习中广泛使用的模型之一。

决策树的基本概念

节点（Node）
- 根节点（Root Node）：树的起点，包含所有样本数据。
- 内部节点（Internal Node）：通过某个特征的条件划分数据。
- 叶节点（Leaf Node）：终点，表示分类结果或回归值。
分裂（Split）
根据某个特征及其阈值，将数据划分为两个或多个子集。
深度（Depth）
决策树中从根节点到叶节点的最长路径。

决策树的构建

目标
寻找特征划分规则，使得划分后的子集尽可能纯（分类）或具有最小误差（回归）。
划分准则
- 分类问题：使用指标如信息增益、基尼系数等。
  - 信息增益（Information Gain）：基于熵（Entropy）的减少：
    
    $IG = H(D) - \sum_{i=1}^k \frac{|D_i|}{|D|} H(D_i)$
    
    其中，H(D) 是当前集合 D 的熵， $D_i$ 是划分后的子集。
  - 基尼系数（Gini Index）：衡量数据的不纯度：
    
    $G(D) = 1 - \sum_{i=1}^C p_i^2$
    
    其中， $p_i$ 是类别 i 的比例。
- 回归问题：常用指标是均方误差（MSE）：
  
  $MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y})^2$
停止条件
- 树的深度达到预设值。
- 数据集不能进一步分裂。
- 每个子集中的样本数小于阈值。
剪枝
剪枝通过减少决策树的复杂度来避免过拟合，分为以下两种方式：
- 预剪枝（Pre-pruning）：在构建过程中限制树的最大深度、最小样本数等。
- 后剪枝（Post-pruning）：先构建完整的树，再通过评估性能移除不重要的分支。

优点

直观易懂
决策树模型容易可视化，便于解释。
无需特征工程
决策树对特征的数值范围不敏感，无需归一化或标准化。
处理非线性关系
决策树可以捕获数据中的非线性模式。
支持多种数据类型
能同时处理连续变量和离散变量。

缺点

容易过拟合
决策树在深度较大时可能对训练数据拟合过度。
对数据分布敏感
异常值和噪声可能显著影响决策树的划分。
局限于局部最优
贪心算法在每一步只关注局部最优，可能错过全局最优划分。

决策树的改进

集成方法
- 随机森林（Random Forest）：构建多个决策树，取预测结果的平均值（回归）或投票结果（分类）。
- 梯度提升树（GBDT）：基于多个决策树逐步优化模型。
正则化
限制树的深度、叶节点的最小样本数等，控制模型复杂度。
混合模型
使用其他算法（如线性模型）在决策树叶节点上进一步优化预测结果。

应用场景

分类任务
- 邮件分类：将邮件划分为垃圾邮件和非垃圾邮件。
- 医疗诊断：根据症状预测疾病。
回归任务
- 房价预测：根据特征（位置、面积、房龄等）预测房价。
- 销量预测：根据营销活动预测产品销量。
特征选择
决策树可以用于评估特征的重要性，帮助选择关键特征。

代码实现

以下是使用 Scikit-learn 实现决策树分类和回归的代码示例：

分类决策树

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris

# 加载数据集
iris = load_iris()
X, y = iris.data, iris.target

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 决策树分类模型
clf = DecisionTreeClassifier(max_depth=3, random_state=42)
clf.fit(X_train, y_train)

# 预测与评估
y_pred = clf.predict(X_test)
print("Accuracy:", accuracy_score(y_test, y_pred))

输出结果

Accuracy: 1.0

回归决策树

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# 生成数据
np.random.seed(42)
X = np.random.rand(100, 1) * 10
y = np.sin(X).ravel() + np.random.normal(0, 0.1, X.shape[0])

# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 决策树回归模型
reg = DecisionTreeRegressor(max_depth=4, random_state=42)
reg.fit(X_train, y_train)

# 预测与评估
y_pred = reg.predict(X_test)
print("MSE:", mean_squared_error(y_test, y_pred))

输出结果