《GBDT 算法的原理推导》 11-15更新决策树的叶子节点值 公式解析

本文是将文章《GBDT 算法的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

公式(11-15)出现在GBDT算法推导的过程中，用于更新决策树的叶子节点值。

公式(11-15)如下：

$$c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$

其中：

• $c_{mj}$ 表示第 $m$ 棵树在叶子节点 $R_{mj}$ 上的输出值，也就是叶子节点的预测值。
• $R_{mj}$ 表示第 $m$ 棵树的第 $j$ 个叶子节点区域。
• $L(y_i,f(x_i))$ 是损失函数，衡量样本 $x_i$ 的真实值 $y_i$ 和当前模型预测值 $f(x_i)$ 之间的误差。
• $f_{m-1}(x_i)$ 是前 $m-1$ 轮构建的模型在 $x_i$ 处的预测值。

1. 公式(11-15)的背景

在GBDT中，每一棵树的任务是对当前模型的误差进行拟合和修正。我们通过新增一棵树 $T(x;{\Theta }_m)$ 来改善当前模型的预测能力。

这棵新树的结构（分裂方式）已经确定，它会将输入样本分配到不同的叶子节点区域 $R_{mj}$。接下来，我们需要为每个叶子节点分配一个值，使得这棵树能够最好地拟合该节点区域内的样本误差。

2. 目标是最小化损失

在叶子节点 $R_{mj}$ 上，我们希望找到一个最优的输出值 $c_{mj}$，使得它能够最小化该节点区域内所有样本的损失。具体来说，给定前 $m-1$ 棵树的预测值 $f_{m-1}(x_i)$，新树的叶子节点值 $c_{mj}$ 需要满足以下优化目标：

$$c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x_i)+c)$$

这意味着，我们为每个叶子节点选择一个最优的常数 $c$，使得该节点区域内所有样本的损失之和最小。

3. 损失函数 $L(y_i,f_{m-1}(x_i)+c)$

在GBDT算法中，不同的损失函数 $L(y,f(x))$ 会影响叶子节点的最优输出值计算方式。常见的损失函数包括：

• 平方损失：用于回归任务。
• 对数损失：用于二分类任务。

不同的损失函数会导致不同的叶子节点值计算方式。下面以平方损失为例来说明如何求解。

例子：平方损失

假设损失函数是平方损失：

$$L(y_i,f(x_i))=\frac{1}{2}(y_i-f(x_i){)}^2$$

代入公式(11-15)中的 $L(y_i,f_{m-1}(x_i)+c)$：

$$c_{mj}=\arg \underset{c}{\min }\sum _{x_i\in R_{mj}}\frac{1}{2}(y_i-(f_{m-1}(x_i)+c){)}^2$$

我们对 $c$ 求导，并让导数等于零，以找到最优的 $c$：

$$\frac{\partial }{\partial c}\sum _{x_i\in R_{mj}}\frac{1}{2}(y_i-f_{m-1}(x_i)-c{)}^2=0$$

这等价于：

$$\sum _{x_i\in R_{mj}}(y_i-f_{m-1}(x_i)-c)=0$$

解这个方程，可以得到：

$$c=\frac{{\sum }_{x_i\in R_{mj}}(y_i-f_{m-1}(x_i))}{|R_{mj}|}$$

即：

$$c_{mj}=\frac{{\sum }_{x_i\in R_{mj}}(y_i-f_{m-1}(x_i))}{|R_{mj}|}$$

这表明，在平方损失的情况下，叶子节点的输出值 $c_{mj}$ 是该叶子节点区域内所有样本残差（$y_i-f_{m-1}(x_i)$）的平均值。

总结

公式(11-15)表示了GBDT算法中如何确定每棵树的叶子节点值。通过最小化叶子节点区域内的损失，可以找到一个最优的输出值 $c_{mj}$，使得该节点区域的样本预测误差最小化。在不同的损失函数下，最优值 $c_{mj}$ 的计算方式可能有所不同，但原理都是基于最小化损失来确定最佳的叶子节点值。