【对比学习】正交阵/酉矩阵，对称矩阵/Hermite矩阵，正交相似对角化/奇异值分解的内在联系

😄希望你在阅读完毕后能通过对比联想的方式加深对这些概念的理解。

0️⃣ 施密特正交化

${\beta }_i={\alpha }_i-{\sum }_{j=1}^{i-1}\frac{⟨{\alpha }_i,{\beta }_j⟩}{⟨{\beta }_j,{\beta }_j⟩}{\beta }_j={\alpha }_i-{\sum }_{j=1}^{i-1}pro{j}_{{\beta }_j}({\alpha }_i)$

这里举一个例子，要把$\left[\begin{array}{ccc}{\alpha }_1& {\alpha }_2& {\alpha }_3\end{array}\right]$转化为$\left[\begin{array}{ccc}{\beta }_1& {\beta }_2& {\beta }_3\end{array}\right]$的正交向量(未单位化)，则有：

${\beta }_1={\alpha }_1$
${\beta }_2={\alpha }_2-pro{j}_{{\beta }_1}({\alpha }_2)$
${\beta }_3={\alpha }_3-pro{j}_{{\beta }_1}({\alpha }_3)-pro{j}_{{\beta }_2}({\alpha }_3)$

1️⃣ 正交阵

若$A^{T}A=I$，即$A^{-1}=A^T$，则称$A$为正交阵，$A$的列向量都为单位向量，且两两正交。它有如下性质：

$①$特征值绝对值为1
$②$$\det (A)=1$
$③向量L2范数保持性：$$\parallel A\mathbf{x}{\parallel }_2=\parallel \mathbf{x}{\parallel }_2,⟨A\mathbf{x},A\mathbf{y}⟩=⟨\mathbf{x},\mathbf{y}⟩$

2️⃣ 酉矩阵

若$U^{\ast }U=I$，即$U^{-1}=U^{\ast }$，则称$U$为酉矩阵，$U$的列向量都为单位向量，且两两正交。它有如下性质：

$①$特征值绝对值为1
$②$$\det (U)=1$
$③向量L2范数保持性：$$\parallel U\mathbf{x}{\parallel }_2=\parallel \mathbf{x}{\parallel }_2,⟨U\mathbf{x},U\mathbf{y}⟩=⟨\mathbf{x},\mathbf{y}⟩$

3️⃣ 对称矩阵

若$A=A^T$，则称$A$为对称矩阵。它有如下性质：

$①$不同特征值对应的特征向量是正交的
$②$存在正交阵$Q$，使得$Q^{T}AQ$为一个对角阵，对角线元素为$A$的特征值

4️⃣ Hermite矩阵

若$H=H^{\ast }$，则称$H$为Hermite矩阵。它有如下性质：

$①$不同特征值对应的特征向量是正交的
$②$存在酉矩阵$U$，使得$U^{\ast }HU$为一个对角阵，对角线元素为$H$的特征值

5️⃣ 正交相似对角化

这里以一个例题的形式，说明正交相似对角化的过程：

e.g. 求正交矩阵$Q$，使得$A=Q\Lambda Q^T$，其中$A=\left[\begin{array}{ccc}1& -2& 2\\ -2& -2& 4\\ 2& 4& -2\end{array}\right]$，$\Lambda$为对应的对角阵.

$①$计算$A$的特征值和对应的特征向量(从大到小排列)

$\det (\lambda I-A)=\left[\begin{array}{ccc}\lambda -1& 2& -2\\ 2& \lambda +2& -4\\ -2& -4& \lambda +2\end{array}\right]=(\lambda -2{)}^2(\lambda +7)$

$\{\begin{array}{l}(2I-A)x_{1,2}=0\\ (-7I-A)x_3=0\end{array}\Rightarrow \{\begin{array}{l}{x}_1={\left[\begin{array}{ccc}-2& 1& 0\end{array}\right]}^T,x_2={\left[\begin{array}{ccc}2& 0& 1\end{array}\right]}^T\\ x_3={\left[\begin{array}{ccc}-1& -2& 2\end{array}\right]}^T\end{array}$

$②$标准正交化

由于对称矩阵不同特征值对应的特征向量正交，则有对$x_1,x_2$进行正交化：

${\eta }_1=x_1={\left[\begin{array}{ccc}-2& 1& 0\end{array}\right]}^T$

${\eta }_2=x_2-pro{j}_{{\eta }_1}(x_2)={\left[\begin{array}{ccc}\frac{2}{5}& \frac{4}{5}& 1\end{array}\right]}^T$

再将${\eta }_1,{\eta }_2,x_3$单位化为$a_1,a_2,a_3$，并构造正交矩阵有：

$Q=\left[\begin{array}{ccc}{a}_1& a_2& a_3\end{array}\right]=\left[\begin{array}{ccc}\frac{-2}{\sqrt{5}}& \frac{2}{3\sqrt{5}}& \frac{-1}{3}\\ \frac{1}{\sqrt{5}}& \frac{4}{3\sqrt{5}}& \frac{-2}{3}\\ 0& \frac{5}{3\sqrt{5}}& \frac{2}{3}\end{array}\right]$

6️⃣ 奇异值分解SVD

SVD(Singular Value Decomposition)，这里以一个例题的形式，说明奇异值分解的过程：

e.g. 求$A=\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]$的奇异值分解$A=U\Lambda V^T$.

$①$构造Hermite矩阵$A{A}^{\ast }$和$A^{\ast }A$（类似于构造对称矩阵）

$A{A}^{\ast }=\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right]=\left[\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right]$

$A^{\ast }A=\left[\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$

$②$计算Hermite矩阵的特征值和特征向量(从大到小排列)

$\det (\lambda I-A{A}^{\ast })=\left|\begin{array}{ccc}\lambda -1& -1& 0\\ -1& \lambda -2& -1\\ 0& -1& \lambda -1\end{array}\right|=\lambda (\lambda -1)(\lambda -3)=0$

$\{\begin{array}{l}(3I-A{A}^{\ast })u_1=0\\ (I-A{A}^{\ast })u_2=0\\ A{A}^{\ast }{u}_3=0\end{array}\Rightarrow U=\left[\begin{array}{ccc}{u}_1& u_2& u_3\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& \frac{-1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{-1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]$

\newline

$\det (\lambda I-A^{\ast }A)=\left|\begin{array}{cc}\lambda -2& -1\\ -1& \lambda -2\end{array}\right|=(\lambda -1)(\lambda -3)=0$

$\{\begin{array}{l}(3I-A^{\ast }A)v_1=0\\ (I-A^{\ast }A)v_2=0\end{array}\Rightarrow V=\left[\begin{array}{cc}{v}_1& v_2\end{array}\right]=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

由于以上没有重根特征值，即一个特征值对应多个特征向量的情况，所以不需要对这些向量进行单位正交化，如果有这种情况，则对所涉的向量进行施密特正交化。

$③$书写奇异阵，书写酉矩阵

(1) 奇异阵(Hermite矩阵特征值开根号)

$\Sigma =\left[\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right]$

(2) 酉矩阵

$U=\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& \frac{-1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{-1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]$

$V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]$

(3) 综合

$A=U\Sigma V^T$