当前位置：首页 > article >正文

【漫话机器学习系列】107.线性组合（Linear Combination）

article 2025/3/4 9:00:36

1. 什么是线性组合？

线性组合是线性代数中的一个基本概念，它表示将多个向量按某些系数进行加权求和。具体来说，给定向量 $V_1, V_2, ..., V_n$ 和标量 $C_1, C_2, ..., C_n$ ，它们的线性组合可以表示为：

$\sum_{i=1}^n C_i \cdot V_i$

其中：

$V_i$ 是向量，
$C_i$ 是对应的标量系数（也叫权重）。

线性组合的结果是一个新的向量，它是这些向量在给定权重下的加权和。

2. 图示解释

从图中可以看出，线性组合由若干个向量 $V_i$ 和对应的系数 $C_i$ 构成。每个系数 $C_i$ 对应的向量 $V_i$ 会根据系数的大小进行缩放（即放大或缩小），然后所有缩放后的向量将按比例相加，最终形成一个新的向量。

这个新的向量不仅是原始向量的加权和，而且与原始向量的方向和长度相关。具体来说：

正系数会使向量朝着该向量的方向伸展，
负系数则会使向量朝着反方向伸展，
零系数表示该向量在结果中不贡献任何部分。

3. 线性组合的性质

线性组合在许多数学和工程问题中具有重要应用，它具有以下几个基本性质：

交换性：加法是交换的，即：

$C_1 \cdot V_1 + C_2 \cdot V_2 = C_2 \cdot V_2 + C_1 \cdot V_1$
结合性：加法是结合的，即：

$(C_1 \cdot V_1 + C_2 \cdot V_2) + C_3 \cdot V_3 = C_1 \cdot V_1 + (C_2 \cdot V_2 + C_3 \cdot V_3)$
标量分配性：系数与向量的分配性，即：

$C\cdot (V_1 + V_2) = C \cdot V_1 + C \cdot V_2$
线性变换：若给定一个线性变换 A，则线性变换作用于线性组合可以分配给每个分量：

$A \cdot \left( C_1 \cdot V_1 + C_2 \cdot V_2 \right) = C_1 \cdot A \cdot V_1 + C_2 \cdot A \cdot V_2$

4. 线性组合的应用

线性组合在多个领域都有广泛应用，以下是一些典型的应用场景：

（1）数据表示

在机器学习和数据分析中，数据集中的每一项可以通过一组特征的线性组合来表示。例如，在图像处理或自然语言处理中，图像像素或词向量通常是多个基向量的线性组合。每个特征在表示中都带有一个权重，反映了它对最终表示的重要性。

（2）线性回归

线性回归模型就是输入特征的线性组合加权的结果。假设有多个特征 $x_1, x_2, ..., x_n$ ，对应的回归系数 $w_1, w_2, ..., w_n$ ，则线性回归模型的输出为：

$\hat{y} = w_1 \cdot x_1 + w_2 \cdot x_2 + ... + w_n \cdot x_n + b$

这就是一个特征的线性组合，通过学习每个特征的权重，模型可以做出预测。

（3）向量空间中的基

在线性代数中，任何一个向量都可以表示为某一基的线性组合。基是一个向量空间中线性无关的向量集合，可以通过不同的基向量线性组合表示空间中的任何向量。例如，在二维平面上，单位向量 $\hat{i} = (1, 0)$ 和 $\hat{j} = (0, 1)$ 就是平面中的一组基向量，任意一个向量都可以表示为这两者的线性组合。