数学基础 -- 线性代数之正交矩阵
正交矩阵
正交矩阵是线性代数中的一个重要概念，具有许多优良的性质，在数值计算、线性变换、信号处理等领域有着广泛的应用。
1. 正交矩阵的定义
一个 n × n n \times n n×n 的方阵 Q Q Q 如果满足以下条件：
Q T Q = Q Q T = I Q^T Q = Q Q^T = I QTQ=QQT=I
其中， Q T Q^T QT 是矩阵 Q Q Q 的转置矩阵， I I I 是 n × n n \times n n×n 的单位矩阵，则称矩阵 Q Q Q 是正交矩阵。
换句话说，正交矩阵的行向量（或列向量）是标准正交基，即：
- 各行向量（或列向量）的长度为1（标准化）。
- 不同行向量（或列向量）之间是两两正交的，即它们的内积为零。
2. 正交矩阵的性质
2.1 保持内积和长度
正交矩阵在进行线性变换时，不改变向量的内积和长度。即向量 v \mathbf{v} v 通过正交矩阵 Q Q Q 变换后，变换后的向量 Q v Q\mathbf{v} Qv 的长度与原向量相同。
2.2 逆矩阵等于转置矩阵
正交矩阵的逆矩阵与它的转置矩阵相同，即：
Q − 1 = Q T Q^{-1} = Q^T Q−1=QT
2.3 保持正交性
正交矩阵乘以另一个正交矩阵，结果仍然是正交矩阵。如果 Q 1 Q_1 Q1 和 Q 2 Q_2 Q2 都是正交矩阵，那么 Q 1 Q 2 Q_1 Q_2 Q1Q2 也是正交矩阵。
2.4 行列式的绝对值为1
正交矩阵的行列式为 ± 1 \pm 1 ±1：
∣ det ( Q ) ∣ = 1 |\text{det}(Q)| = 1 ∣det(Q)∣=1
3. 正交矩阵的应用
3.1 旋转与反射变换
在几何中，正交矩阵常用于表示旋转和反射变换。例如，在二维空间中，一个旋转矩阵可以表示为：
Q = ( cos θ − sin θ sin θ cos θ ) Q = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix} Q=(cosθsinθ−sinθcosθ)
3.2 QR分解
正交矩阵在QR分解中扮演重要角色。QR分解将矩阵 A A A 分解为一个正交矩阵 Q Q Q 和一个上三角矩阵 R R R 的乘积，即 A = Q R A = QR A=QR。
3.3 信号处理与数据压缩
在信号处理和数据压缩中，正交矩阵用于构造正交基，比如傅里叶变换矩阵和小波变换矩阵。
正交矩阵的例子
例子1：二维旋转矩阵
考虑一个二维旋转矩阵，它表示在平面上旋转一个向量的变换。假设旋转角度为 θ \theta θ，则旋转矩阵可以表示为：
Q = ( cos θ − sin θ sin θ cos θ ) Q = \begin{pmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{pmatrix} Q=(cosθsinθ−sinθcosθ)
正交性验证
我们验证这个矩阵是否为正交矩阵。正交矩阵的定义要求 Q T Q = I Q^T Q = I QTQ=I，我们计算 Q T Q^T QT 和 Q T Q Q^T Q QTQ：
首先，求 Q Q Q 的转置矩阵 Q T Q^T QT：
Q T = ( cos θ sin θ − sin θ cos θ ) Q^T = \begin{pmatrix} \cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{pmatrix} QT=(cosθ−sinθsinθcosθ)
接下来，计算 Q T Q Q^T Q QTQ：
Q T Q = ( cos 2 θ + sin 2 θ 0 0 cos 2 θ + sin 2 θ ) = ( 1 0 0 1 ) = I Q^T Q = \begin{pmatrix} \cos^2 \theta + \sin^2 \theta & 0 \\ 0 & \cos^2 \theta + \sin^2 \theta \end{pmatrix} = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} = I QTQ=(cos2θ+sin2θ00cos2θ+sin2θ)=(1001)=I
因此， Q Q Q 是一个正交矩阵。
性质
- 保持向量长度：向量经过矩阵 Q Q Q 的旋转变换后，长度不变。
- 逆矩阵为转置矩阵：由于 Q T Q = I Q^T Q = I QTQ=I，我们有 Q − 1 = Q T Q^{-1} = Q^T Q−1=QT。
例子2：三维反射矩阵
考虑一个三维反射矩阵，它表示相对于某一平面的反射。假设我们要相对于 x x x- y y y 平面进行反射，则反射矩阵可以表示为：
Q = ( 1 0 0 0 1 0 0 0 − 1 ) Q = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} Q= 10001000−1
正交性验证
同样地，我们验证这个矩阵是否为正交矩阵。计算 Q T Q^T QT 和 Q T Q Q^T Q QTQ：
转置矩阵 Q T Q^T QT 为：
Q T = ( 1 0 0 0 1 0 0 0 − 1 ) Q^T = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{pmatrix} QT= 10001000−1
计算 Q T Q Q^T Q QTQ：
Q T Q = ( 1 0 0 0 1 0 0 0 1 ) = I Q^T Q = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} = I QTQ= 100010001 =I
因此， Q Q Q 是一个正交矩阵。
性质
- 保持向量长度：向量经过矩阵 Q Q Q 的反射变换后，长度不变。
- 逆矩阵为转置矩阵： Q − 1 = Q T Q^{-1} = Q^T Q−1=QT。
QR分解的例子
例子：QR分解
我们选择一个简单的 2 × 2 2 \times 2 2×2 矩阵 A A A 进行QR分解。假设矩阵 A A A 为：
A = ( 1 1 1 − 1 ) A = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} A=(111−1)
步骤 1：构造矩阵 Q Q Q
通过 Gram-Schmidt 正交化过程构造正交矩阵 Q Q Q：
-
取矩阵 A A A 的第一列 a 1 \mathbf{a}_1 a1 作为向量 u 1 \mathbf{u}_1 u1：
u 1 = ( 1 1 ) \mathbf{u}_1 = \begin{pmatrix} 1 \\ 1 \end{pmatrix} u1=(11)
归一化 u 1 \mathbf{u}_1 u1 得到 q 1 \mathbf{q}_1 q1：
q 1 = u 1 ∥ u 1 ∥ = 1 2 ( 1 1 ) = ( 1 2 1 2 ) \mathbf{q}_1 = \frac{\mathbf{u}_1}{\|\mathbf{u}_1\|} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix} = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} q1=∥u1∥u1=21(11)=(2121)
-
计算矩阵 A A A 的第二列 a 2 \mathbf{a}_2 a2 在 q 1 \mathbf{q}_1 q1 上的投影，并减去这部分，得到 u 2 \mathbf{u}_2 u2：
u 2 = a 2 − ( q 1 T a 2 ) q 1 = ( 1 − 1 ) \mathbf{u}_2 = \mathbf{a}_2 - (\mathbf{q}_1^T \mathbf{a}_2) \mathbf{q}_1 = \begin{pmatrix} 1 \\ -1 \end{pmatrix} u2=a2−(q1Ta2)q1=(1−1)
归一化 u 2 \mathbf{u}_2 u2 得到 q 2 \mathbf{q}_2 q2：
q 2 = u 2 ∥ u 2 ∥ = 1 2 ( 1 − 1 ) = ( 1 2 − 1 2 ) \mathbf{q}_2 = \frac{\mathbf{u}_2}{\|\mathbf{u}_2\|} = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix} = \begin{pmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{pmatrix} q2=∥u2∥u2=21(1−1)=(21−21)
最终得到正交矩阵 Q Q Q 为：
Q = ( 1 2 1 2 1 2 − 1 2 ) Q = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix} Q=(212121−21)
步骤 2：计算矩阵 R R R
矩阵 R R R 是通过计算 Q T A Q^T A QTA 得到的：
R = Q T A = ( 2 0 0 2 ) R = Q^T A = \begin{pmatrix} \sqrt{2} & 0 \\ 0 & \sqrt{2} \end{pmatrix} R=QTA=(2002)
最终结果
通过QR分解，我们将矩阵 A A A 分解为正交矩阵 Q Q Q 和上三角矩阵 R R R 的乘积：
A = Q R = ( 1 2 1 2 1 2 − 1 2 ) ( 2 0 0 2 ) = ( 1 1 1 − 1 ) A = QR = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix} \begin{pmatrix} \sqrt{2} & 0 \\ 0 & \sqrt{2} \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} A=QR=(212121−21)(2002)=(111−1)
验证分解结果正确，QR分解成功。