如何理解线性回归中的w和b
在线性回归算法中，权重（weights）和偏置（bias）通常会用w和b这两个字母来表示。这些符号的使用有一定的历史和数学背景，但也可以说是约定俗成。
-
权重 (w)：
- 在线性回归的方程中，假设我们有一个输入特征向量x和输出y的线性关系，那么常用的形式是y = wx + b。
- 其中，w是权重向量。如果有多个特征 x1，x2，……，xn，那么相应的权重也会是向量 w1,w2,…,wn。在多维空间中，w 表示每个特征对预测结果的影响。
-
偏置 b：
- 偏置 b 是一个常数，它没有与任何特征相关联，表示的是线性模型的截距（intercept）。它使得模型能够更好的拟合数据，尤其在输入特征 x 全为零时依然能有一个非零的预测值。
这种符号选择背后的原因如下：
- 数学规范：在对数线性回归、线性代数、统计学等理论中，权重和偏置的表示法已经在学术界被广泛传播，使得研究和交流变得更加简便。
- 简洁性：使用 w 和 b 作为符号使得公式和表达清晰简明，便于理解和书写。
- 历史传统：早期的统计学和机器学习教材和文献中普遍采用 w 和 b 的符号，并被后来的工作所沿用，逐渐形成了惯例。
总体来说，使用 w 表示权重和 b 表示偏置是约定俗成的，但它们背后的逻辑也符合数学公式表示的简洁和统一性的需求。