20.6 多元正态、Wishart与主成分

完整证明。令\(E_i=X_i-\mu\)，选择\(n\times n\)正交矩阵\(O\)，其第一行为\(n^{-1/2}(1,\ldots,1)\)。对对象方向作变换\(Y_j=\sum_iO_{ji}E_i\)。这些向量联合正态，均值零，交叉协方差为\(\sum_iO_{ji}O_{ki}\Sigma=\mathbf1_{j=k}\Sigma\)，所以彼此独立，各自服从\(N_d(0,\Sigma)\)。第一项为\(Y_1=\sqrt n(\bar X-\mu)\)，正交性还给出

后\(n-1\)项的和按定义为Wishart，且与第一项独立。把这些行向量右乘\(\Sigma^{-1/2}\)后得到具有独立标准正态元素的\((n-1)\times d\)矩阵。它的最大可能秩的某个子式是非零多项式，绝对连续高斯数据落在其零集合的概率为零，故秩为\(\min(n-1,d)\)。右乘可逆矩阵不改变秩，Gram矩阵的秩也相同，证明完成。

推导。写\(Z_j=\Sigma^{1/2}G_j\)，将对称矩阵\(\Sigma^{1/2}T\Sigma^{1/2}\)正交对角化。标准高斯的旋转不改变分布，一行二次型便是\(\sum_i\lambda_iG_{ji}^2\)。每项矩母积分为\((1-2\lambda_i)^{-1/2}\)，存在条件是\(\lambda_i<1/2\)。各坐标及各行独立，乘积得到行列式的\(-\nu/2\)次方。

完整证明。理论上白化真协方差，令\(Z=\sqrt n\Sigma^{-1/2}(\bar X-\mu_0)\sim N_d(0,I)\)，\(W=\Sigma^{-1/2}(n-1)S\Sigma^{-1/2}\sim W_d(\nu,I)\)，其中\(\nu=n-1\)。上一节给独立性，且\(T^2=\nu Z^\mathsf TW^{-1}Z\)。给定非零\(Z=z\)，旋转将其方向变成第一个坐标；Wishart的旋转不变性使\(Z^\mathsf TW^{-1}Z/\|Z\|^2\)的条件分布与\(z\)无关，等于\((W^{-1})_{11}\)的分布。因此这个比值与\(Z\)独立。

写\(W=A^\mathsf TA\)，\(A\)为\(\nu\times d\)标准高斯矩阵，按列分为\((a_1,A_2)\)。当\(d>1\)时，Schur补公式给

给定\(A_2\)，\(a_1\)是独立标准高斯向量，补投影秩为\(\nu-d+1\)，二次型精确服从\(\chi^2_{\nu-d+1}\)。\(d=1\)时补投影就是\(I_\nu\)，同一结论成立。它与\(\|Z\|^2\sim\chi_d^2\)独立，因而

代入\(\nu=n-1\)即得。白化只用于证明；实际统计量用\(S\)计算，无须知道\(\Sigma\)。证毕。

完整证明。任意单位方向写成\(v=\sum_i a_iv_i\)，\(\sum_i a_i^2=1\)。则\(v^\mathsf T\Sigma v=\sum_i\lambda_i a_i^2\le\lambda_1\)，取\(v=v_1\)达界。若要求与前\(j-1\)方向正交，则对应系数为零，同一论证给最大值\(\lambda_j\)。总投影方差为\(\operatorname{tr}\Sigma=\sum_i\lambda_i\)，当总方差为正时，前\(r\)项解释比例为\(\sum_{i\le r}\lambda_i/\sum_i\lambda_i\)。证毕。

首个方向一致性的证明。假设\(\lambda_1-\lambda_2=\gamma>0\)，令\(\widehat v_1\)是\(S_n\)的任意单位最大特征向量，\(\eta_n=\|S_n-\Sigma\|\)。样本方差最大化给\(\widehat v_1^\mathsf TS_n\widehat v_1\ge v_1^\mathsf TS_nv_1\)，两端分别与总体二次型相差不超过\(\eta_n\)。所以\(\lambda_1-\widehat v_1^\mathsf T\Sigma\widehat v_1\le2\eta_n\)。再把\(\widehat v_1\)在总体特征基展开，得

因此对齐符号后\(\widehat v_1\to v_1\)几乎必然。若首个特征值重复，没有唯一首方向，不能要求任选向量都趋于同一向量；可研究具有相应间隙的整体特征子空间。上式也说明间隙很小时，同样的协方差误差可导致更大的方向误差。