【漫话机器学习系列】016.误差中的偏差(BIAS)

误差中的偏差（Bias）

在统计学和机器学习中，误差可被分解为三部分：偏差（Bias）、方差（Variance）和噪声（Noise）。其中，偏差描述了模型预测值与真实值之间的系统性偏离，是模型对目标函数假设错误的结果。

偏差的定义

偏差（Bias）是指模型的预测值与真实值之间的平均差异。它反映了模型的假设与问题实际复杂性之间的差距。
从数学上来看，对于目标值 y 和模型预测值 ​，偏差可定义为：

其中：

• f(x) 是目标函数的真实值（即模型需要拟合的函数）。
• 是模型预测值的期望。

偏差衡量的是模型整体预测结果的中心是否偏离真实值。

偏差的来源

1. 模型复杂度不足（欠拟合）
   当模型假设过于简单，无法捕捉数据的真实模式时，偏差会很高。例如，用线性模型拟合非线性数据，会导致预测结果偏离真实值。

2. 假设错误
   如果模型的假设（如数据分布或特征之间的关系）不符合实际问题的特性，则会引入偏差。

3. 算法选择
   使用过于简单的算法（如低阶多项式回归、简单线性回归）可能导致高偏差。

偏差的影响

高偏差的模型表现为：

• 欠拟合：模型过于简单，无法捕捉数据的复杂特性。
• 低准确性：模型预测值与真实值之间存在较大的系统性误差。

偏差的权衡（Bias-Variance Tradeoff）

偏差和方差通常存在一个权衡关系：

• 高偏差，低方差：简单模型（如线性回归）通常具有较高的偏差，但其预测的稳定性较强（方差低）。
• 低偏差，高方差：复杂模型（如深度学习模型）能够较好地拟合训练数据（低偏差），但对数据的波动更敏感（高方差）。

在实际应用中，需要选择合适的模型复杂度，使得偏差和方差达到平衡，优化总体误差。

如何降低偏差

1. 增加模型复杂度
   使用更复杂的模型（如多层神经网络、高阶多项式回归）以捕捉更多数据特性。

2. 特征工程
   引入更多相关的特征或进行特征转换（如多项式特征），让模型更好地表达数据模式。

3. 选择合适的算法
   对于非线性数据，可以选择支持非线性拟合的算法（如决策树、随机森林、支持向量机）。

4. 扩大数据集
   增加训练数据，特别是多样性高的数据，可能帮助模型更全面地学习数据的分布和规律。

5. 改进目标函数
   根据问题性质选择更合适的损失函数。例如，对于分类问题，使用交叉熵损失而不是均方误差损失。

偏差的实际案例

1. 高偏差：

   • 用简单的线性模型拟合复杂的非线性关系。
   • 在手写数字识别中，用简单的逻辑回归模型代替卷积神经网络。

2. 低偏差：

   • 用深度学习模型（如 ResNet）训练图像分类问题。
   • 使用随机森林代替单颗决策树。

总结

偏差是模型误差的组成部分之一，反映了模型预测结果的系统性偏离程度。高偏差通常由模型复杂度不足或假设错误引起，表现为欠拟合。通过增加模型复杂度、优化特征和算法选择，可以有效降低偏差。但同时需要注意偏差与方差的权衡，避免引入高方差导致过拟合。