【统计至简】【入门测试3】协方差矩阵的Cholesky分解
Cholesky 分解是一种将正定矩阵分解为一个下三角矩阵和其转置的乘积的方法。即对于一个正定矩阵A，存在一个下三角矩阵L，使得 A = L L T A = LL^T A=LLT。如果写成上三角矩阵的形式就是 A = R T R A = R^TR A=RTR，其中 R = L T R = L^T R=LT为上三角矩阵。
对协方差矩阵 C C C进行Cholesky分解的前提是：
- 对称性： C C C必须是对称矩阵（ C = C T C=C^T C=CT ），协方差矩阵天然满足这一条件。
- 正定性：当且仅当对于任意非零向量x，都有 x T C x > 0 x^TCx>0 xTCx>0。
上三角矩阵 R R R的特点
- 对角线元素：上三角矩阵R的对角线元素都是非负的。这是因为在 Cholesky 分解的计算过程中，对角线元素是通过对矩阵的某些元素进行开方运算得到的，而协方差矩阵正定保证了这些开方运算的结果是非负的。
- 唯一性：如果限定R的对角线元素为正，则R是唯一的。也就是说，对于给定的正定协方差矩阵C，在这种限定下，只有一个满足 C = R T R C = R^TR C=RTR的上三角矩阵 R R R。
- 非零结构：除了对角线及其上方的元素外，其余元素均为零。即对于 i > j i > j i>j，有 R i j = 0 R_{ij}=0 Rij=0，其中 R i j R_{ij} Rij表示矩阵R的第i行第j列的元素。
从几何角度理解R
协方差矩阵 C C C描述了数据的分布形状（如椭球），而R的几何意义体现在坐标变换上：
- 标准化变换：通过R可将原始相关数据（椭球分布）转换为标准正态分布（球体）。具体来说，若原始数据满足 x ∼ N ( 0 , C ) x∼N(0,C) x∼N(0,C)，则 y = R T x ∼ N ( 0 , I ) y=R^Tx∼N(0,I) y=RTx∼N(0,I) ，其中I为单位矩阵。
- 逐步解相关： R R R的上三角结构表明，该变换逐层消除变量间的相关性。每一步仅影响后续维度，类似于逐步对数据进行轴对齐的缩放和剪切操作。
- 椭球主轴对齐： R R R将原始椭球的主轴旋转并缩放到坐标轴上，使变换后的坐标轴正交。