机器学习数学基础：22.对称矩阵的对角化

一、核心概念详解

（一）内积

1. 定义与公式：在$n$维向量空间中，对于向量$\vec{x}=(x_1,x_2,\cdots ,x_n)$和$\vec{y}=(y_1,y_2,\cdots ,y_n)$，内积记作$(\vec{x},\vec{y})$，其计算公式为$(\vec{x},\vec{y})=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$，从几何角度还可表示为$|\vec{x}||\vec{y}|\cos \theta$（$\theta$为两向量夹角），并且在矩阵形式下，若将向量视为列矩阵，$(\vec{x},\vec{y})={\vec{x}}^T\vec{y}$。例如，在三维向量空间中，向量$\vec{a}=(1,2,3)$，$\vec{b}=(4,5,6)$，则$(\vec{a},\vec{b})=1\times 4+2\times 5+3\times 6=4+10+18=32$。
2. 性质
   • 对称性：$(\vec{x},\vec{y})=(\vec{y},\vec{x})$。
   • 线性性质：$(k\vec{x},\vec{y})=k(\vec{x},\vec{y})$（$k$为常数）；$(\vec{x}+\vec{y},\vec{z})=(\vec{x},\vec{z})+(\vec{y},\vec{z})$。
   • 非负性：$(\vec{x},\vec{x})\ge 0$，当且仅当$\vec{x}=\vec{0}$时，$(\vec{x},\vec{x})=0$。

（二）向量的长度（模长）

1. 定义与公式：向量$\vec{x}$的长度记为$|\vec{x}|$，由内积定义可得$|\vec{x}|=\sqrt{(\vec{x},\vec{x})}=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}$。例如，对于向量$\vec{m}=(3,-4)$，$|\vec{m}|=\sqrt{3^2+(-4{)}^2}=\sqrt{9+16}=5$。
2. 性质
   • 非负性：$|\vec{x}|\ge 0$，$|\vec{x}|=0\iff \vec{x}=\vec{0}$。
   • 齐次性：$|k\vec{x}|=|k||\vec{x}|$（$k$为常数）。
   • 三角不等式：$|\vec{x}+\vec{y}|\le |\vec{x}|+|\vec{y}|$。

（三）单位向量

1. 定义：长度为$1$的向量称为单位向量。若$\vec{x}$是非零向量，将其单位化得到单位向量$\vec{e}$的公式为$\vec{e}=\frac{\vec{x}}{|\vec{x}|}$。例如，向量$\vec{n}=(2,2)$，$|\vec{n}|=\sqrt{2^2+2^2}=2\sqrt{2}$，单位化后$\vec{e}=(\frac{2}{2\sqrt{2}},\frac{2}{2\sqrt{2}})=(\frac{\sqrt{2}}{2},\frac{\sqrt{2}}{2})$。
2. 用途：单位向量在构建正交矩阵以及描述向量方向等方面具有重要作用。

（四）向量的正交性

1. 定义：若两向量$\vec{x}$和$\vec{y}$的内积$(\vec{x},\vec{y})=0$，则称$\vec{x}$与$\vec{y}$正交。例如，向量$\vec{p}=(1,1)$，$\vec{q}=(1,-1)$，$(\vec{p},\vec{q})=1\times 1+1\times (-1)=0$，所以$\vec{p}$与$\vec{q}$正交。
2. 性质：若一组非零向量两两正交，则称该向量组为正交向量组，正交向量组必定线性无关。

（五）施密特正交化方法

设${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$是一组线性无关向量组，将其正交化得到${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的步骤如下：
1.${\beta }_1={\alpha }_1$。
2.${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$。
3.${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$。
4. 一般地，${\beta }_k={\alpha }_k-{\sum }_{i=1}^{k-1}\frac{({\alpha }_k,{\beta }_i)}{({\beta }_i,{\beta }_i)}{\beta }_i$（$k=2,3,\cdots ,n$）。

例如，已知线性无关向量组${\alpha }_1=(1,1,0)$，${\alpha }_2=(1,0,1)$，${\alpha }_3=(0,1,1)$：
-${\beta }_1={\alpha }_1=(1,1,0)$。
-${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1=(1,0,1)-\frac{1\times 1+0\times 1+1\times 0}{1^2+1^2+0^2}(1,1,0)=(\frac{1}{2},-\frac{1}{2},1)$。
-${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2=(0,1,1)-\frac{0\times 1+1\times 1+1\times 0}{2}(1,1,0)-\frac{0\times \frac{1}{2}+1\times (-\frac{1}{2})+1\times 1}{\frac{1}{4}+\frac{1}{4}+1}(\frac{1}{2},-\frac{1}{2},1)=(-\frac{1}{3},\frac{1}{3},\frac{1}{3})$。

二、对称矩阵正交相似对角化步骤与原理

（一）对称矩阵的性质

以下通过具体的实对称矩阵例子，对图片中的三条性质分别进行说明：

性质1：实对称矩阵$A$的特征值都是实数

设实对称矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，计算其特征值：
特征多项式为$|\lambda E-A|=\left|\begin{array}{cc}\lambda -2& -1\\ -1& \lambda -2\end{array}\right|=(\lambda -2{)}^2-1={\lambda }^2-4\lambda +4-1={\lambda }^2-4\lambda +3$。
令$|\lambda E-A|=0$，即${\lambda }^2-4\lambda +3=0$，因式分解得$(\lambda -1)(\lambda -3)=0$，解得特征值${\lambda }_1=1$，${\lambda }_2=3$，均为实数。

性质2：实对称矩阵$A$的不同特征值对应的特征向量必定正交

对于上述矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$：

• 当${\lambda }_1=1$时，求解齐次线性方程组$({\lambda }_{1}E-A)X=0$，即$\left(\begin{array}{cc}-1& -1\\ -1& -1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$，通过初等行变换可得$x_1+x_2=0$，取$x_1=1$，则$x_2=-1$，得到特征向量${\xi }_1=\left(\begin{array}{c}1\\ -1\end{array}\right)$。
• 当${\lambda }_2=3$时，求解齐次线性方程组$({\lambda }_{2}E-A)X=0$，即$\left(\begin{array}{cc}1& -1\\ -1& 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=\left(\begin{array}{c}0\\ 0\end{array}\right)$，通过初等行变换可得$x_1-x_2=0$，取$x_1=1$，则$x_2=1$，得到特征向量${\xi }_2=\left(\begin{array}{c}1\\ 1\end{array}\right)$。

计算两个特征向量的内积$({\xi }_1,{\xi }_2)=1\times 1+(-1)\times 1=0$，所以${\xi }_1$与${\xi }_2$正交，体现了不同特征值对应的特征向量必定正交这一性质。

性质3：对于$n$阶实对称矩阵$A$，必存在$n$个线性无关的特征向量，即$A$一定可以相似对角化。并且可以通过正交化和单位化特征向量，得到一个正交矩阵$Q$，使得$Q^{-1}AQ=Q^{T}AQ=\Lambda$（$\Lambda$为对角矩阵，其对角线上元素为$A$的特征值）

还是矩阵$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$，它是$2$阶实对称矩阵：

• 已求得特征值${\lambda }_1=1$，${\lambda }_2=3$，对应的特征向量分别为${\xi }_1=\left(\begin{array}{c}1\\ -1\end{array}\right)$，${\xi }_2=\left(\begin{array}{c}1\\ 1\end{array}\right)$，这两个特征向量线性无关（因为不存在不全为$0$的数$k_1,k_2$使得$k_1{\xi }_1+k_2{\xi }_2=0$），所以$A$可以相似对角化。
• 对特征向量进行单位化：
  $|{\xi }_1|=\sqrt{1^2+(-1{)}^2}=\sqrt{2}$，单位化后${\gamma }_1=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ -1\end{array}\right)=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right)$
  $|{\xi }_2|=\sqrt{1^2+1^2}=\sqrt{2}$，单位化后${\gamma }_2=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$

令正交矩阵$Q=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$，计算$Q^{T}AQ$：
$$\begin{array}{rl}{Q}^{T}AQ& =\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\\ & =\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{cc}\frac{2-1}{\sqrt{2}}& \frac{2+1}{\sqrt{2}}\\ \frac{1-2}{\sqrt{2}}& \frac{1+2}{\sqrt{2}}\end{array}\right)\\ & =\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{3}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{3}{\sqrt{2}}\end{array}\right)\\ & =\left(\begin{array}{cc}1& 0\\ 0& 3\end{array}\right)\end{array}$$
得到的对角矩阵$\Lambda =\left(\begin{array}{cc}1& 0\\ 0& 3\end{array}\right)$，对角线上元素为$A$的特征值，验证了性质3。

（二）正交相似对角化步骤

1. 求特征值：计算特征多项式$|\lambda E-A|$，令$|\lambda E-A|=0$，解出特征值${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$（可能有重根）。
2. 求特征向量：对于每个特征值${\lambda }_i$，求解齐次线性方程组$({\lambda }_{i}E-A)X=0$，得到基础解系，即${\lambda }_i$对应的线性无关的特征向量${\xi }_{i1},{\xi }_{i2},\cdots ,{\xi }_{is}$（$s$为${\lambda }_i$的几何重数）。
3. 特征向量的正交化与单位化
   • 若特征值${\lambda }_i$为单根，其对应的特征向量${\xi }_i$只需单位化，即${\gamma }_i=\frac{{\xi }_i}{|{\xi }_i|}$。
   • 若特征值${\lambda }_j$为重根，设其重数为$r$，对应的$r$个线性无关特征向量${\xi }_{j1},{\xi }_{j2},\cdots ,{\xi }_{jr}$需先用施密特正交化方法正交化，再单位化。
4. 构造正交矩阵$Q$：将所有单位化后的特征向量按列排列，构成正交矩阵$Q=({\gamma }_1,{\gamma }_2,\cdots ,{\gamma }_n)$，则有$Q^{T}AQ=\Lambda$，其中$\Lambda$是对角矩阵，对角线上元素为对应的特征值。

三、例题解析

（一）例 1

设$A=\left(\begin{array}{ccc}2& -2& 0\\ -2& 1& -2\\ 0& -2& 0\end{array}\right)$，求正交矩阵$Q$，使得$Q^{T}AQ$为对角矩阵。

1. 求特征值
   $$\begin{array}{rl}|\lambda E-A|& =\left|\begin{array}{ccc}\lambda -2& 2& 0\\ 2& \lambda -1& 2\\ 0& 2& \lambda \end{array}\right|\\ & =(\lambda -2)[(\lambda -1)\lambda -4]-2(2\lambda -0)+0\\ & =(\lambda -2)({\lambda }^2-\lambda -4)-4\lambda \\ & ={\lambda }^3-{\lambda }^2-4\lambda -2{\lambda }^2+2\lambda +8-4\lambda \\ & ={\lambda }^3-3{\lambda }^2-6\lambda +8\\ & =(\lambda -4)(\lambda -1)(\lambda +2)\end{array}$$
   令$|\lambda E-A|=0$，解得特征值${\lambda }_1=4$，${\lambda }_2=1$，${\lambda }_3=-2$。
2. 求特征向量
   • 当${\lambda }_1=4$时，解方程组$(4E-A)X=0$，$4E-A=\left(\begin{array}{ccc}2& 2& 0\\ 2& 3& 2\\ 0& 2& 4\end{array}\right)$，通过初等行变换化为行最简形$\left(\begin{array}{ccc}1& 0& -2\\ 0& 1& 2\\ 0& 0& 0\end{array}\right)$，得到基础解系${\xi }_1=(2,-2,1)$。
   • 当${\lambda }_2=1$时，解方程组$(E-A)X=0$，$E-A=\left(\begin{array}{ccc}-1& 2& 0\\ 2& 0& 2\\ 0& 2& 1\end{array}\right)$，化为行最简形$\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& \frac{1}{2}\\ 0& 0& 0\end{array}\right)$，得到基础解系${\xi }_2=(-2,-1,2)$。
   • 当${\lambda }_3=-2$时，解方程组$(-2E-A)X=0$，$-2E-A=\left(\begin{array}{ccc}-4& 2& 0\\ 2& -3& 2\\ 0& 2& -2\end{array}\right)$，化为行最简形$\left(\begin{array}{ccc}1& 0& \frac{1}{2}\\ 0& 1& 1\\ 0& 0& 0\end{array}\right)$，得到基础解系${\xi }_3=(1,2,2)$。
3. 特征向量的单位化
   -$|{\xi }_1|=\sqrt{2^2+(-2{)}^2+1^2}=3$，${\gamma }_1=\frac{{\xi }_1}{|{\xi }_1|}=(\frac{2}{3},-\frac{2}{3},\frac{1}{3})$。
   -$|{\xi }_2|=\sqrt{(-2{)}^2+(-1{)}^2+2^2}=3$，${\gamma }_2=\frac{{\xi }_2}{|{\xi }_2|}=(-\frac{2}{3},-\frac{1}{3},\frac{2}{3})$。
   -$|{\xi }_3|=\sqrt{1^2+2^2+2^2}=3$，${\gamma }_3=\frac{{\xi }_3}{|{\xi }_3|}=(\frac{1}{3},\frac{2}{3},\frac{2}{3})$。
4. 构造正交矩阵$Q$
   令$Q=({\gamma }_1,{\gamma }_2,{\gamma }_3)=\left(\begin{array}{ccc}\frac{2}{3}& -\frac{2}{3}& \frac{1}{3}\\ -\frac{2}{3}& -\frac{1}{3}& \frac{2}{3}\\ \frac{1}{3}& \frac{2}{3}& \frac{2}{3}\end{array}\right)$，则$Q^{T}AQ=\left(\begin{array}{ccc}4& 0& 0\\ 0& 1& 0\\ 0& 0& -2\end{array}\right)$。

（二）例 2

设$A=\left(\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\\ 1& 1& 1& 1\end{array}\right)$，求正交矩阵$Q$使$Q^{T}AQ$为对角矩阵。

1. 求特征值
   $$\begin{array}{rl}|\lambda E-A|& =\left|\begin{array}{cccc}\lambda -1& -1& -1& -1\\ -1& \lambda -1& -1& -1\\ -1& -1& \lambda -1& -1\\ -1& -1& -1& \lambda -1\end{array}\right|\\ & =(\lambda -4)\left|\begin{array}{cccc}1& -1& -1& -1\\ 1& \lambda -1& -1& -1\\ 1& -1& \lambda -1& -1\\ 1& -1& -1& \lambda -1\end{array}\right|\\ & =(\lambda -4)\left|\begin{array}{cccc}1& -1& -1& -1\\ 0& \lambda & 0& 0\\ 0& 0& \lambda & 0\\ 0& 0& 0& \lambda \end{array}\right|\\ & ={\lambda }^3(\lambda -4)\end{array}$$
   令$|\lambda E-A|=0$，解得特征值${\lambda }_1=4$，${\lambda }_2={\lambda }_3={\lambda }_4=0$（三重根）。
2. 求特征向量
   • 当${\lambda }_1=4$时，解方程组$(4E-A)X=0$，$4E-A=\left(\begin{array}{cccc}3& -1& -1& -1\\ -1& 3& -1& -1\\ -1& -1& 3& -1\\ -1& -1& -1& 3\end{array}\right)$，化为行最简形$\left(\begin{array}{cccc}1& 0& 0& -1\\ 0& 1& 0& -1\\ 0& 0& 1& -1\\ 0& 0& 0& 0\end{array}\right)$，得到基础解系${\xi }_1=(1,1,1,1)$。
   • 当${\lambda }_2={\lambda }_3={\lambda }_4=0$时，解方程组$(0E-A)X=0$，$-A=\left(\begin{array}{cccc}-1& -1& -1& -1\\ -1& -1& -1& -1\\ -1& -1& -1& -1\\ -1& -1& -1& -1\end{array}\right)$，化为行最简形$\left(\begin{array}{cccc}1& 1& 1& 1\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$，得到基础解系${\xi }_2=(1,-1,0,0)$，${\xi }_3=(1,0,-1,0)$，${\xi }_4=(1,0,0,-1)$。
3. 特征向量的处理
   我们接着上面例2中求特征向量后的步骤继续：

特征向量的处理

• ${\xi }_1$单位化：
  $|{\xi }_1|=\sqrt{1^2+1^2+1^2+1^2}=2$，
  ${\gamma }_1=\frac{{\xi }_1}{|{\xi }_1|}=(\frac{1}{2},\frac{1}{2},\frac{1}{2},\frac{1}{2})$。

• 对${\lambda }_2={\lambda }_3={\lambda }_4=0$对应的特征向量${\xi }_2=(1,-1,0,0)$，${\xi }_3=(1,0,-1,0)$，${\xi }_4=(1,0,0,-1)$进行施密特正交化：

  • 令${\beta }_2={\xi }_2=(1,-1,0,0)$。
    -${\beta }_3={\xi }_3-\frac{({\xi }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$
    $({\xi }_3,{\beta }_2)=1\times 1+0\times (-1)+(-1)\times 0+0\times 0=1$，
    $({\beta }_2,{\beta }_2)=1^2+(-1{)}^2+0^2+0^2=2$，
    则${\beta }_3=(1,0,-1,0)-\frac{1}{2}(1,-1,0,0)=(\frac{1}{2},\frac{1}{2},-1,0)$。
    -${\beta }_4={\xi }_4-\frac{({\xi }_4,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2-\frac{({\xi }_4,{\beta }_3)}{({\beta }_3,{\beta }_3)}{\beta }_3$
    $({\xi }_4,{\beta }_2)=1\times 1+0\times (-1)+0\times 0+(-1)\times 0=1$，
    $({\xi }_4,{\beta }_3)=1\times \frac{1}{2}+0\times \frac{1}{2}+0\times (-1)+(-1)\times 0=\frac{1}{2}$，
    $({\beta }_3,{\beta }_3)=(\frac{1}{2}{)}^2+(\frac{1}{2}{)}^2+(-1{)}^2+0^2=\frac{3}{2}$，
    则${\beta }_4=(1,0,0,-1)-\frac{1}{2}(1,-1,0,0)-\frac{\frac{1}{2}}{\frac{3}{2}}(\frac{1}{2},\frac{1}{2},-1,0)$
    $=(1,0,0,-1)-(\frac{1}{2},-\frac{1}{2},0,0)-(\frac{1}{6},\frac{1}{6},-\frac{1}{3},0)$
    $=(\frac{1}{3},\frac{1}{3},\frac{1}{3},-1)$。

• 对正交化后的向量${\beta }_2$，${\beta }_3$，${\beta }_4$进行单位化：
  -$|{\beta }_2|=\sqrt{1^2+(-1{)}^2+0^2+0^2}=\sqrt{2}$，
  ${\gamma }_2=\frac{{\beta }_2}{|{\beta }_2|}=(\frac{1}{\sqrt{2}},-\frac{1}{\sqrt{2}},0,0)$。
  -$|{\beta }_3|=\sqrt{(\frac{1}{2}{)}^2+(\frac{1}{2}{)}^2+(-1{)}^2+0^2}=\frac{\sqrt{6}}{2}$，
  ${\gamma }_3=\frac{{\beta }_3}{|{\beta }_3|}=(\frac{1}{\sqrt{6}},\frac{1}{\sqrt{6}},-\frac{2}{\sqrt{6}},0)$。
  -$|{\beta }_4|=\sqrt{(\frac{1}{3}{)}^2+(\frac{1}{3}{)}^2+(\frac{1}{3}{)}^2+(-1{)}^2}=\frac{2}{\sqrt{3}}$，
  ${\gamma }_4=\frac{{\beta }_4}{|{\beta }_4|}=(\frac{1}{2\sqrt{3}},\frac{1}{2\sqrt{3}},\frac{1}{2\sqrt{3}},-\frac{\sqrt{3}}{2})$。

构造正交矩阵$Q$

令$Q=({\gamma }_1,{\gamma }_2,{\gamma }_3,{\gamma }_4)=\left(\begin{array}{cccc}\frac{1}{2}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& \frac{1}{2\sqrt{3}}\\ \frac{1}{2}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& \frac{1}{2\sqrt{3}}\\ \frac{1}{2}& 0& -\frac{2}{\sqrt{6}}& \frac{1}{2\sqrt{3}}\\ \frac{1}{2}& 0& 0& -\frac{\sqrt{3}}{2}\end{array}\right)$，
则$Q^{T}AQ=\left(\begin{array}{cccc}4& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 0\end{array}\right)$。