线性判别分析 (LDA)中目标函数对S_w进行奇异值分解的说明
公式 5-6 中，使用的是奇异值分解（SVD，Singular Value Decomposition）。矩阵的奇异值分解可以表示为：
S
w
=
U
Σ
V
T
S_w = U \Sigma V^T
Sw=UΣVT
其中：
- S w S_w Sw 是类内散度矩阵。
- U U U 和 V T V^T VT 是正交矩阵。它们分别表示矩阵 S w S_w Sw 的左奇异向量和右奇异向量。
- Σ \Sigma Σ 是一个对角矩阵，对角线上是矩阵 S w S_w Sw 的奇异值。
公式 5-6 的推导过程：
1. 奇异值分解的概念：
奇异值分解 (SVD) 是一种将任意矩阵表示为三个矩阵乘积的方法。对于任意矩阵
S
w
S_w
Sw，它可以分解为：
S
w
=
U
Σ
V
T
S_w = U \Sigma V^T
Sw=UΣVT
其中：
- U U U 是一个 m × m m \times m m×m 的正交矩阵，包含左奇异向量（即矩阵的列向量）。
- V V V 是一个 n × n n \times n n×n 的正交矩阵，包含右奇异向量。
- Σ \Sigma Σ 是一个 m × n m \times n m×n 的对角矩阵，其对角线上的元素是矩阵的奇异值，而这些奇异值是非负的数。
2. 求解逆矩阵：
在 LDA 中，我们经常需要求解类内散度矩阵的逆矩阵 S w − 1 S_w^{-1} Sw−1。通过奇异值分解，矩阵 S w S_w Sw 分解为 S w = U Σ V T S_w = U \Sigma V^T Sw=UΣVT 形式后，矩阵的逆可以通过奇异值的逆来求得。
矩阵的逆表示为：
S
w
−
1
=
V
Σ
−
1
U
T
S_w^{-1} = V \Sigma^{-1} U^T
Sw−1=VΣ−1UT
其中：
- Σ − 1 \Sigma^{-1} Σ−1 是对角矩阵 Σ \Sigma Σ 的逆矩阵，它的对角线元素是 Σ \Sigma Σ 对应元素的倒数（即奇异值的倒数）。
- U U U 和 V T V^T VT 是奇异值分解的左奇异向量和右奇异向量。
3. 逆矩阵的具体形式：
通过奇异值分解，矩阵的逆矩阵可以通过以下公式表示：
S
w
−
1
=
V
Σ
−
1
U
T
S_w^{-1} = V \Sigma^{-1} U^T
Sw−1=VΣ−1UT
这个形式通过对角矩阵的奇异值取倒数来求得逆矩阵。这是广泛应用于矩阵运算中的一种方法，尤其是在数值稳定性和计算精度要求较高的情况下。
4. 公式 5-6 的推导总结：
- 奇异值分解（SVD）：通过奇异值分解，将矩阵 S w S_w Sw 分解为 U Σ V T U \Sigma V^T UΣVT 的形式。
- 矩阵的逆：通过对 Σ \Sigma Σ 中的奇异值取倒数，可以求得矩阵的逆 S w − 1 = V Σ − 1 U T S_w^{-1} = V \Sigma^{-1} U^T Sw−1=VΣ−1UT。
- 在 LDA 中的应用：这一步用于求解类内散度矩阵的逆矩阵，帮助找到最优的投影方向 w w w，从而完成 LDA 的判别分析。
公式的意义：
- U U U 和 V V V 是正交矩阵，它们分别代表矩阵的奇异向量方向。
- Σ \Sigma Σ 是矩阵的奇异值，它与矩阵的特征值相关，用于描述矩阵的伸缩效应。
- 通过奇异值分解，我们能够高效地求解逆矩阵，在应用中具有良好的数值稳定性。