当前位置：首页 > article >正文

【AI数学基础】线性代数：矩阵和线性变换

article 2025/1/7 22:19:19

（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）

3. 矩阵和线性变换

3.1 定义和例子

3.1.1 矩阵的定义

由 $m\times n$ 个数 $a_{ij}(i=1,2,\cdots,m;j=1,2,\cdots,n)$ 排成的 $m$ 行 $n$ 列的数表
$\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 m} \\ a_{21} & a_{22} & \cdots & a_{2 m} \\ \vdots & \vdots & \vdots & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n m} \end{array}$
称为 $m$ 行 $n$ 列矩阵，简称 $m\times n$ 矩阵，为表示它是一个整体，总是加一个括弧，并用大写黑体字母表示它，记作：
$\mathbf{A}=\left(\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 m} \\ a_{21} & a_{22} & \cdots & a_{2 m} \\ \vdots & \vdots & \vdots & \vdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n m} \end{array}\right)$
这 $m\times n$ 个数称为矩阵 $\mathbf{A}$ 的元素，简称为元（我超，元），数 $a_{ij}$ 位于矩阵 $\mathbf{A}$ 的第 $i$ 行第 $j$ 列。

3.1.2 特殊的矩阵

行数与列数都等于 $n$ （即行数与列数相等）的矩阵称为 $n$ 阶方阵， $n$ 阶矩阵 $\mathbf{A}$ 也记作 $\mathbf{A}_n$ ；
只有一行的矩阵，也称行矩阵或者行向量；
只有一列的矩阵，也称列矩阵或者列向量。

3.1.3 例子

灰度图像在计算机中是一个二维的矩阵，像素点的数值越小，该像素点对应的颜色越接近于黑色；像素点的数值越大，该像素点对应的颜色越接近白色，像素点的取值是0-255：

某厂向三个商店发送四种产品的数量可列成矩阵：
$\mathbf{A}=\left(\begin{array}{llll} a_{11} & a_{12} & a_{13} & a_{14} \\ a_{21} & a_{22} & a_{23} & a_{24} \\ a_{31} & a_{32} & a_{33} & a_{34} \end{array}\right)$

其中 $a_{ij}$ 为工厂向第 $i$ 店发送这第 $j$ 种产品的数量。

3.2 线性变换

3.2.1 线性变换的几何表示

线性空间种的运动，被称为线性变换，线性空间种的一个向量变成另一个向量，都可以通过一个线性变换来完成。输入向量（Input vector）通过线性变换变到输出向量（Output vector）

线性变换需要满足两个条件：

变换后的坐标原点在空间中要保持不变；
向量的箭头的形状（不能被弯曲）在变换后也要保持不变。

线性变换可以对空间中所有的向量进行，比如把二维空间中的所有向量想象成填满空间的点。

那么空间里的线性变换，其实就相当于对空间这个平面进行拉扯（坐标原点没变）。

下面哪个是线性变换？

只有右下角的图是线性变换，其他要么原点发送改变，要么箭头出现弯曲。

3.2.2 线性变换的数值描述——矩阵

在一个线性空间中，选定一组基向量，将变换之后的基向量的数值列表放在一个矩阵里，那么这个矩阵就可以代表这个线性变换。我们对下图中两个向量进行线性变换后，这两个基向量到了另外一个位置，然后用一组新的数值列表表示它们，这个矩阵就代表了线性变换。

比如在这张图中有两个基向量 $\vec{i}$ 和 $\vec{j}$ ，黄色的向量为 $\vec{V}$ ，一旦向量空间中的基向量确定，那么空间中的任何一个向量都可以用基向量的线性组合来表示。比如 $\vec{V}$ 就可以通过两个基向量 $\vec{i}$ 和 $\vec{j}$ 线性组合表示为 $\vec{V}=-1\vec{i}+2\vec{j}$ ，在几何上可以这样理解：向量 $\vec{V}$ 可以通过基向量 $\vec{i}$ 在反方向上进行一个单位的拉伸，然后对于 $\vec{j}$ 这个基向量在它原本的方向上进行两个单位的拉伸，然后将拉伸后的二者相加得到向量 $\vec{V}$ .

之后我们对空间进行拉伸，得到了下图（图中 $\vec{i}$ 和 $\vec{j}$ 是拉伸后的结果，黄色向量是 $\vec{V}$ 拉伸之后的结果）：

我们可以看到，由于线性变换的性质，网格线在变换之后会保持平行且等距，新空间里的黄色向量仍然可以通过 $\vec{i}$ 和 $\vec{j}$ 线性组合得到。

在对空间进行变换后， $\vec{V}$ 仍然可以由基向量表示，但是 $变换后的\vec{V}=-1变换后的\vec{i}+2变换后的\vec{j}$ ，这个过程就是对我们的 $\vec{V}$ 在空间上进行一个线性变换，用公式来表示就是 $\mathbf{Ax}=\mathbf{y}$ ，其中 $\mathbf{A}=\left(\begin{array}{cc} 1 & 3 \\ -2 & 0 \end{array}\right), \mathbf{x}=\binom{-1}{2}, \mathbf{y}=\binom{5}{2}$

3.3 矩阵的运算

3.3.1 矩阵的加法

对应元素相加，与向量的加法运算一致。只有当两个矩阵的行数和列数一致时才可以相加，即：
$\mathbf{C}=\mathbf{A}+\mathbf{B}=\left(a_{i j}\right)_{m \times n}+\left(b_{i j}\right)_{m \times n}=\left(c_{i j}\right)_{m \times n},$
其中， $c_{i j}=a_{i j}+b_{i j}(i=1,2, \cdots, m ; j=1,2, \cdots, n)$ ，即对应元素相加。

3.3.2 矩阵的数乘

设 $k$ 是一个数， $\mathbf{A}$ 是一个 $m\times n$ 矩阵，数 $k$ 和 $\mathbf{A}$ 的乘积称为数乘矩阵，即
$\begin{aligned} k \mathbf{A} & =\mathbf{A} k=k\left[\begin{array}{cccc} a_{11} & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22} & \cdots & a_{2 n} \\ \vdots & \vdots & & \vdots \\ a_{m 1} & a_{m 2} & \cdots & a_{m n} \end{array}\right]=\left[\begin{array}{cccc} k a_{11} & k a_{12} & \cdots & k a_{1 n} \\ k a_{21} & k a_{22} & \cdots & k a_{2 n} \\ \vdots & \vdots & & \vdots \\ k a_{m 1} & k a_{m 2} & \cdots & k a_{m n} \end{array}\right] \\ & =\left(k a_{i j}\right)_{m \times n}, \end{aligned}$
即 $\mathbf{A}$ 的每个元素都乘以 $k$ .

3.3.3 矩阵和向量的乘法

矩阵和向量的乘法，本质上是对向量在空间上进行线性变换.

如果是左乘向量，那就是按向量的行和矩阵的列向量做内积，也就是按3.3.4的算法进行，右乘也一样，列向量可看作列矩阵，行向量可看作行矩阵，矩阵和向量的乘法完全可以按照3.3.4矩阵和矩阵的乘法法则进行。

3.3.4 矩阵和矩阵的乘法

代数上，矩阵之间的乘法是这样的（也就是矩阵 $\mathbf{M}_2$ 的行向量和 $\mathbf{M}_1$ 的列向量进行内积得到，矩阵的每一行可视为行向量，矩阵的每一列可视为列向量），矩阵的乘法只能是 $m\times n$ 的矩阵与 $n\times s$ 的矩阵相乘，如果左边矩阵的列数不等于右边矩阵的行数，则没法相乘。

几何上，矩阵相乘是空间中两种线性变换的叠加，比如在下图当中，我们首先对向量空间进行一个旋转（Rotation），然后再进行一个剪切（Shear），这个结果相当于对向量左乘一个矩阵（错切(shear)变换实际上是平面景物在投影平面上的非垂直投影效果。图像错切变换也称为图像剪切、错位或错移变换。）

3.5 矩阵的转置

把矩阵 $\mathbf{A}$ 的行换成同序数的列得到一个新矩阵，叫做 $\mathbf{A}$ 的转置矩阵，记作 $\mathbf{A}^{T}$ .
例如矩阵：
$\mathbf{A}=\left(\begin{array}{ccc} 1 & 2 & 0 \\ 3 & -1 & 1 \end{array}\right)$
的转置矩阵为：
$\mathbf{A}=\left(\begin{array}{cc} 1 & 3 \\ 2 & -1 \\ 0 & 1 \end{array}\right)$
矩阵的转置也是一种运算，满足下述运算规律（假设运算都是可行的，加法需要满足矩阵行和列一致，乘法需要满足其条件，见3.3.4）
$\left(\mathbf{A}^{T}\right)^{T}=\mathbf{A} \\ (\mathbf{A}+\mathbf{B})^{T}=\mathbf{A}^{T}+\mathbf{B}^{T} \\ (\lambda \mathbf{A})^{T}=\lambda \mathbf{A}^{T},\lambda是标量 \\ (\mathbf{A B})^{T}=\mathbf{B}^{T} \mathbf{A}^{T} .$

3.6 矩阵的行列式

3.6.1 行列式的定义

行列式是数学中的一个函数，将一个 $n\times n$ 方阵 $\mathbf{A}$ 映射成一个标量，记作 $\det(\mathbf{A})$ 或 $|\mathbf{A}|$ 。

3.6.2 二阶和三阶行列式的计算

四阶及以上行列式计算方法详见：
【高等代数笔记】（8-13）N阶行列式
【高等代数笔记】（14-17）N阶行列式
【高等代数笔记】（18）N阶行列式
2阶行列式计算公式：
$|A|=\left|\begin{array}{ll} a & b \\ c & d \end{array}\right|=a d-b c$
3阶行列式计算公式：
$|A|=\left|\begin{array}{lll} a & b & c \\ d & e & f \\ g & h & i \end{array}\right|=a e i+b f g+c d h-c e g-b d i-a f h$

3.6.3 行列式的几何意义

在二维空间里，行列式表示矩阵对应的线性变换前后的面积比，若在高维空间里，则是体积。

如果一个矩阵的行列式为负数，说明空间里的向量都进行了180度的翻转。

3.7 逆矩阵

3.7.1 逆矩阵的定义

给定一个 $n$ 阶方阵 $\mathbf{A}$ ，若存在一 $n$ 阶方阵 $\mathbf{B}$ ，使得 $\mathbf{A}\mathbf{B}=\mathbf{B}\mathbf{A}=\mathbf{I}_n$ ，其中 $\mathbf{I}_n$ 是 $n$ 阶单位矩阵（就是从左上角到右下角的这个对角线上的元素全是1，其余位置全是0的方阵），则称 $\mathbf{A}$ 是可逆的，且 $\mathbf{B}$ 是 $\mathbf{A}$ 的逆矩阵，记作 $\mathbf{A}^{-1}$ .
只有方阵才可能但非必然有逆矩阵，若方阵 $\mathbf{A}$ 的逆矩阵存在，则称 $\mathbf{A}$ 为非奇异方阵或可逆方阵。
例如：
$\left(\begin{array}{ll} 1 & 1 \\ 0 & 1 \end{array}\right)\left(\begin{array}{cc} 1 & -1 \\ 0 & 1 \end{array}\right)=\left(\begin{array}{ll} 1 & 0 \\ 0 & 1 \end{array}\right)$

3.7.2 逆矩阵的几何意义

几何上，一个矩阵的逆矩阵代表的是该矩阵的反运动。

3.8 求解线性方程组

任何一个线性方程组可以写成矩阵和向量组相乘得到另一个向量，比如：

我们知道，矩阵和向量乘法相当于一个向量上施加矩阵 $\mathbf{A}$ 描述的线性变换：

那么如果要从 $\vec{v}$ 变成 $\vec{x}$ ，其实就相当于在向量 $\vec{v}$ 上施加矩阵 $\mathbf{A}$ 的反运动，也就是矩阵 $\mathbf{A}^{-1}$ ，代数上，相当于在 $\mathbf{A}\vec{x}=\vec{v}$ 的两边同时乘上 $\mathbf{A}^{-1}$ ，得到 $\mathbf{A}^{-1}\mathbf{A}\vec{x}=\mathbf{A}^{-1}\vec{v}$ ，因为 $\mathbf{A}^{-1}\mathbf{A}=\mathbf{I}$ ，所以 $\vec{x}=\mathbf{A}^{-1}\vec{v}$ ，当然，这里的前提是矩阵 $\mathbf{A}$ 的逆矩阵存在。