【漫画机器学习】083.安斯库姆四重奏（Anscombe‘s quartet）

安斯库姆四重奏（Anscombe's Quartet）

1. 什么是安斯库姆四重奏？

安斯库姆四重奏（Anscombe's Quartet）是一组由统计学家弗朗西斯·安斯库姆（Francis Anscombe） 在 1973 年 提出的 四组数据集。它们的均值、方差、回归直线、相关系数等统计量几乎相同，但当绘制成图表时却呈现出完全不同的分布形态。

这个四重奏展示了数据可视化的重要性，表明仅凭统计数值不能全面反映数据的真实分布。

2. 数据集示例

安斯库姆的四个数据集如下，每个数据集包含 (x, y) 对 ：

尽管这些数据集的均值、方差、相关系数、回归直线 近似相同，但它们的实际分布却大不相同。

3. 统计量分析

对每个数据集计算以下统计量，我们发现它们几乎相等：

• 均值：
• 方差：
• 相关系数：
• 回归直线：

尽管统计量相同，但它们的数据分布和图形表现却大相径庭。

4. 数据可视化

如果只看统计量，可能会认为四个数据集的分布类似。但当我们绘制散点图时，会看到完全不同的形态：

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

# Anscombe's Quartet 数据
anscombe = sns.load_dataset("anscombe")

# 创建四个子图
fig, axes = plt.subplots(2, 2, figsize=(10, 8))
fig.suptitle("Anscombe's Quartet")

# 遍历四个数据集并绘制散点图和回归直线
for i, ax in enumerate(axes.flatten(), 1):
    data = anscombe[anscombe['dataset'] == f'II{"" if i == 1 else i}']
    ax.scatter(data['x'], data['y'], label=f'Dataset {i}', color='blue', edgecolor='k')
    ax.set_title(f"Dataset {i}")
    
    # 绘制回归直线
    m, b = np.polyfit(data['x'], data['y'], 1)
    ax.plot(data['x'], m * data['x'] + b, color='red')

plt.tight_layout()
plt.show()

5. 观察四个数据集的不同

从图中可以看出：

• 数据集 1：正常的线性回归数据分布。
• 数据集 2：呈现非线性关系，回归直线并不能很好地描述数据趋势。
• 数据集 3：大多数点与回归直线接近，但存在一个异常值（outlier）。
• 数据集 4：x 值恒定，数据呈现一条垂直线，回归模型毫无意义。

6. 重要性：统计数据 ≠ 数据特性

安斯库姆四重奏的核心思想是：

1. 统计数值不能完全代表数据分布。必须配合数据可视化进行分析。
2. 数据可视化可以揭示数据的模式，如线性关系、异常值、非线性分布等。
3. 异常值可能极大地影响回归分析，不能仅依赖统计量进行判断。

7. 结论

• 仅依赖均值、方差、相关系数等统计数值，可能导致误导性的结论。
• 进行数据分析时，应结合可视化手段（如散点图、直方图等），直观检查数据的分布。
• 安斯库姆四重奏提醒我们，数据科学不只是数学统计，还包括数据探索与可视化。

8. 拓展：现代版安斯库姆四重奏

在 2017 年，Alberto Cairo 提出了“Datasaurus Dozen”，扩展了安斯库姆四重奏的思想。它展示了一组具有相同统计量但形态完全不同的数据集，其中包括：

• 恐龙形状
• 圆形分布
• 星形分布
• 水平线形分布

👉 核心思想仍然是：数据可视化远比仅依赖统计数值更重要。

9. 总结

🚀 数据分析不仅仅是计算统计量，数据可视化同样不可忽视！