多元正态分布
内容来源
应用多元统计分析 北京大学出版社 高惠璇编著
之前写数理统计笔记时也写过多元正态
不过那篇比较粗略
定义
设 U = ( U 1 , ⋯ , U q ) ′ U=(U_1,\cdots,U_q)' U=(U1,⋯,Uq)′ 为随机向量， U 1 , ⋯ , U q U_1,\cdots,U_q U1,⋯,Uq 独立且同为标准正态分布
设 μ \mu μ 为 p p p 维常数向量， A A A 为 p × q p\times q p×q 常数矩阵
则称 X = A U + μ X=AU+\mu X=AU+μ 的分布为 p p p 元正态分布，记为 X ∼ N p ( μ , A A ′ ) X\sim N_p(\mu,AA') X∼Np(μ,AA′)
由多个相互独立的标准正态随机变量的线性组合构成的随机向量，称其为多元正态分布
特征函数
一元统计中，若 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) X∼N(μ,σ2)，则其特征函数为
φ ( t ) = E [ e i t X ] = exp [ i t μ − 1 2 t 2 σ 2 ] \varphi(t)=E[e^{itX}]=\exp\left[it\mu-\frac{1}{2}t^2\sigma^2\right] φ(t)=E[eitX]=exp[itμ−21t2σ2]
推广到多维正态随机向量如下
Φ X ( t ) = exp [ i t ′ μ − 1 2 t ′ A A ′ t ] \Phi_X(t)=\exp\left[it'\mu-\frac{1}{2}t'AA't\right] ΦX(t)=exp[it′μ−21t′AA′t]
边缘分布仍为正态分布
设
X = [ X 1 X 2 ] ∼ N p ( μ , Σ ) X=\left[\begin{matrix}X_1\\X_2\end{matrix}\right]\sim N_p(\mu,\Sigma) X=[X1X2]∼Np(μ,Σ)
将 μ , Σ \mu,\Sigma μ,Σ 对应分割为
μ = [ μ 1 μ 2 ] , Σ = [ Σ 11 Σ 12 Σ 21 Σ 22 ] \mu=\left[\begin{matrix}\mu_1\\\mu_2\end{matrix}\right], \Sigma=\left[\begin{matrix}\Sigma_{11}&\Sigma_{12}\\ \Sigma_{21}&\Sigma_{22}\end{matrix}\right] μ=[μ1μ2],Σ=[Σ11Σ21Σ12Σ22]
则 X 1 ∼ N r ( μ 1 , Σ 11 ) , X 2 ∼ N r ( μ 2 , Σ 22 ) X_1\sim N_r(\mu_1,\Sigma_{11}),X_2\sim N_r(\mu_2,\Sigma_{22}) X1∼Nr(μ1,Σ11),X2∼Nr(μ2,Σ22)
线性性质
设 X ∼ N p ( μ , Σ ) X\sim N_p(\mu,\Sigma) X∼Np(μ,Σ)， B B B 为 s × p s\times p s×p 常数矩阵， d d d 为 s s s 维常向量
令 Z = B X + d Z=BX+d Z=BX+d，则 Z ∼ N s ( B μ + d , B Σ B ′ ) Z\sim N_s(B\mu+d,B\Sigma B') Z∼Ns(Bμ+d,BΣB′)
联合密度函数
一元情况
f ( x ) = 1 2 π σ exp [ − ( x − μ ) 2 2 σ 2 ] f(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right] f(x)=2πσ1exp[−2σ2(x−μ)2]
多元情况
f ( x ) = 1 ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 exp [ − 1 2 ( x − μ ) ′ Σ − 1 ( x − μ ) ] f(x)=\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left[-\frac{1}{2} (x-\mu)'\Sigma^{-1}(x-\mu)\right] f(x)=(2π)p/2∣Σ∣1/21exp[−21(x−μ)′Σ−1(x−μ)]
独立性
设 p p p 为随机向量 X ∼ N p ( μ , Σ ) X\sim N_p(\mu,\Sigma) X∼Np(μ,Σ)
X = [ X 1 X 2 ] ∼ N p ( [ μ 1 μ 2 ] , [ Σ 11 Σ 12 Σ 21 Σ 22 ] ) X=\left[\begin{matrix} X_1\\X_2 \end{matrix}\right]\sim N_p\left( \left[\begin{matrix} \mu_1\\\mu_2 \end{matrix}\right], \left[\begin{matrix} \Sigma_{11}&\Sigma_{12}\\ \Sigma_{21}&\Sigma_{22} \end{matrix}\right] \right) X=[X1X2]∼Np([μ1μ2],[Σ11Σ21Σ12Σ22])
那么 X 1 , X 2 X_1,X_2 X1,X2 相互独立的充要条件是
Σ 12 = O \Sigma_{12}=O Σ12=O
即 X 1 , X 2 X_1,X_2 X1,X2 不相关
条件分布
沿用上面的记号
当 X 2 X_2 X2 给定时， X 1 X_1 X1 的条件分布为
( X 1 ∣ X 2 ) ∼ N r ( μ 1 ⋅ 2 , Σ 11 ⋅ 2 ) (X_1|X_2)\sim N_r(\mu_{1\cdot2},\Sigma_{11\cdot2}) (X1∣X2)∼Nr(μ1⋅2,Σ11⋅2)
其中
μ 1 ⋅ 2 = μ 1 + Σ 12 Σ 22 − 1 ( x 2 − μ 2 ) Σ 11 ⋅ 2 = Σ 11 − Σ 12 Σ 22 − 1 Σ 12 \mu_{1\cdot2}=\mu_1+\Sigma_{12}\Sigma^{-1}_{22}(x_2-\mu_2)\\ \Sigma_{11\cdot2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{12} μ1⋅2=μ1+Σ12Σ22−1(x2−μ2)Σ11⋅2=Σ11−Σ12Σ22−1Σ12
称 μ 1 ⋅ 2 \mu_{1\cdot2} μ1⋅2 为 X 1 X_1 X1 对 X 2 X_2 X2 的回归
称 Σ 12 Σ 22 − 1 \Sigma_{12}\Sigma^{-1}_{22} Σ12Σ22−1 为回归系数