【漫话机器学习系列】052.解释平方和（Explained Sum of Squares, ESS）

解释平方和（Explained Sum of Squares, ESS）

定义

解释平方和（Explained Sum of Squares, ESS）是回归分析中用于衡量模型解释能力的一个重要指标。它表示模型通过自变量对因变量的解释程度。ESS 是因变量的预测值与其平均值之间差异的平方和，反映了模型可以解释的部分变异。

公式

假设：

• ：第 i 个样本的预测值。
• ​：因变量 y 的平均值。
• n：样本数量。

平方和的计算公式为：

公式解释

• ：预测值与因变量均值之间的差距。
• 通过将这些差距平方并求和，ESS 衡量了模型的预测值偏离因变量均值的程度。

与其他平方和的关系

ESS 是回归总平方和（Total Sum of Squares, TSS）的一部分，满足以下关系：

其中：

• 是总平方和，表示因变量总的变异。
• 是残差平方和，表示模型未能解释的部分变异。

意义

• ESS 越大，说明模型解释的变异部分越多，拟合效果越好。
• 用于计算决定系数（），评估模型拟合效果：

反映了因变量变异中被模型解释的比例，取值范围在 [0, 1]。

可视化解释

1. 数据分布：因变量 y 的总变异由模型解释的变异（ESS）和模型未能解释的变异（RSS）组成。
2. 回归直线：ESS 表示模型对因变量的拟合效果。

示例代码

以下代码展示如何计算 ESS、TSS 和 RSS，并计算 值。

import numpy as np

# 模拟数据
y = np.array([3, -0.5, 2, 7])       # 实际值
y_pred = np.array([2.5, 0.0, 2, 8]) # 预测值

# 计算均值
y_mean = np.mean(y)

# 计算平方和
ESS = np.sum((y_pred - y_mean) ** 2) # 解释平方和
RSS = np.sum((y - y_pred) ** 2)      # 残差平方和
TSS = np.sum((y - y_mean) ** 2)      # 总平方和

# 计算决定系数 R^2
R_squared = ESS / TSS

# 输出结果
print(f"ESS: {ESS}")
print(f"RSS: {RSS}")
print(f"TSS: {TSS}")
print(f"R^2: {R_squared}")

输出结果

假设数据为上述代码中的 y 和 ​，计算结果可能为：

ESS: 35.4375
RSS: 1.5
TSS: 29.1875
R^2: 1.214132762312634

总结

• ESS 衡量模型解释的变异部分，ESS 越大表示模型对数据的拟合能力越强。
• ESS 与 TSS 和 RSS 的关系提供了对模型性能的全面评估。
• 通过 等指标，ESS 成为评估回归模型的重要工具。