16.2 正态抽样、枢轴量与精确分布

正态模型可以给出有限样本下的精确抽样分布。本节接续均值与样本方差的正交分解，从独立正态变量与卡方变量推导 t 分布，再以高斯投影说明自由度和独立性的来源，构造 F 比及方差比枢轴量。小样本算例与非正态反例用于区分精确推断、大样本近似和模型假设。

先修与阅读位置

主要先修：5.6 其他连续型概率分布、7.7 正态随机变量的其他性质、16.1 统计模型、似然与可识别性。

技术部分另用：10.3 弱收敛、紧性与连续映射、10.5 大数定律的证明与适用边界、10.6 中心极限定理及其推广，适用段落见下述说明。

主体从正态正交分解推出有限样本精确分布，无需先用CLT。第16.2.6小节的大样本补充再用10.3、10.5和10.6；本节接18.4的精确区间及20.2的高斯回归。查看全书依赖图与分支路线。

16.2.1 抽样分布与枢轴量

统计量是样本的函数。固定参数而反复抽样时，统计量自身的概率分布称为抽样分布；它不同于总体分布，也不同于一次样本画出的经验分布。例如总体方差为 \(\sigma^2\) 时，独立样本均值的方差是 \(\sigma^2/n\)。均值的标准误描述估计值随抽样变化的幅度，并非单个观测的标准差。

定义 16.2-1　枢轴量

设统计模型为 \(\{P_\theta:\theta\in\Theta\}\)。若由样本与参数组成的函数 \(Q(X,\theta)\) 在 \(P_\theta\) 下具有同一个已知分布，则称其为枢轴量。分布必须不依赖任何未知参数，包括干扰参数。枢轴量的表达式可以含未知参数，因此通常不是统计量；把参数替换为某个给定值后，才成为可由样本计算的统计量。

本节始终区分随机样本 \(X\) 与观测值 \(x\)。精确枢轴量可把已知的概率事件反解为参数集合。反解的区间随样本随机变化，其覆盖概率是在重复抽样下计算的；区间观测完成后，该概率并不自动转化为参数的后验概率。区间的一般理论见第18章。

16.2.2 从正交分解到 t 分布

设 \(X_1,\ldots,X_n\) 独立同分布于 \(N(\mu,\sigma^2)\)，\(n\ge2\)、\(\sigma^2>0\)，并令 \(S^2=\sum_i(X_i-\bar X)^2/(n-1)\)。7.7节已用正交变换证明以下结论。它们对每个固定样本量成立：

\[Z=\frac{\sqrt n(\bar X-\mu)}{\sigma}\sim N(0,1),\qquad U=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1},\qquad Z\perp U.\]

(16.2-1)

定理 16.2-1　Student t 枢轴量

记 \(\nu=n-1\)。正态模型下 \(S>0\) 几乎必然，且

\[T=\frac{\sqrt n(\bar X-\mu)}{S}=\frac{Z}{\sqrt{U/\nu}}\sim t_\nu,\qquad f_\nu(t)=\frac{\Gamma((\nu+1)/2)}{\sqrt{\nu\pi}\,\Gamma(\nu/2)}\left(1+\frac{t^2}{\nu}\right)^{-(\nu+1)/2}.\]

(16.2-2)

这个分布仅由已知自由度 \(\nu\) 决定，不含 \(\mu\) 或 \(\sigma\)。未知尺度通过分子、分母的同尺度变化消去。

证明

式(16.2-1)的独立性给出 \((Z,U)\) 的联合密度。取变换 \(z=t\sqrt{u/\nu}\)、\(u=u\)，其中 \(u>0\)，雅可比绝对值为 \(\sqrt{u/\nu}\)。用卡方密度 \(u^{\nu/2-1}e^{-u/2}/[2^{\nu/2}\Gamma(\nu/2)]\) 对 \(u\) 积分，得到

\[f_T(t)=\frac{1}{\sqrt{2\pi\nu}\,2^{\nu/2}\Gamma(\nu/2)}\int_0^\infty u^{(\nu-1)/2}\exp\left[-\frac{1+t^2/\nu}{2}u\right]du.\]

(16.2-3)

代入 Gamma 积分 \(\int_0^\infty u^{a-1}e^{-bu}du=\Gamma(a)b^{-a}\)，这里 \(a=(\nu+1)/2\)、\(b=(1+t^2/\nu)/2\)，化简即得式(16.2-2)。卡方变量在零点没有原子，故分母几乎必然为正，变换没有遗漏概率质量。此推导使用正态样本的精确正交分解，不需要令样本量趋于无穷。

分母的随机变化使 t 分布具有较厚的尾部。特别地，\(n=2\) 时得到 \(t_1\)，即标准柯西分布；它没有有限期望。对 \(\nu\to\infty\)，将 \(U\) 写成 \(\nu\) 个标准正态平方之和，大数定律给出 \(U/\nu\to1\)，于是 \(t_\nu\) 趋近标准正态。这是分布族的极限性质，与每个固定 \(n\) 的精确结论应分别表述。

16.2.3 高斯投影、卡方二次型与独立性

均值与残差的分解可以推广到任意固定子空间。设 \(Z\sim N_d(0,I_d)\)，\(P\) 是固定实矩阵。只有当 \(P^\mathsf T=P\)、\(P^2=P\) 时，它才是欧氏内积下的正交投影。其秩 \(r\) 是投影空间的维数，而不是矩阵非零元素的个数。

定理 16.2-2　正交投影形式的卡方分解

若固定正交投影 \(P_1,\ldots,P_k\) 满足 \(P_iP_j=0\)（\(i\ne j\)），且 \(r_j=\operatorname{rank}P_j\ge1\)，则 \(Z^\mathsf TP_jZ\sim\chi^2_{r_j}\)，这些二次型相互独立。若另有 \(\sum_jP_j=I_d\)，则自由度之和为 \(d\)，总平方范数分解为这些独立平方和之和。这是 Cochran 分解的正交投影形式。

证明

对每个 \(P_j\) 的像空间选取标准正交基。因为 \(P_iP_j=0\)，不同像空间的向量相互正交：\(\langle P_iu,P_jv\rangle=u^\mathsf TP_iP_jv=0\)。把所有基合并，再补齐成 \(\mathbb R^d\) 的标准正交基。相应正交矩阵将 \(Z\) 变为仍有独立标准正态坐标的向量。每个二次型正是一个不同坐标组的平方和，组内坐标数为 \(r_j\)，故分布为相应卡方且各组相互独立。若投影之和为恒等矩阵，就没有剩余坐标。证明同时给出了独立性和自由度的来源。

取 \(H=\boldsymbol1\boldsymbol1^\mathsf T/n\)，则 \(H\) 的秩为1，\(I-H\) 的秩为 \(n-1\)，且 \(H(I-H)=0\)。在 \(Z=(X-\mu\boldsymbol1)/\sigma\) 上，两个平方和分别是 \(n(\bar X-\mu)^2/\sigma^2\) 和 \((n-1)S^2/\sigma^2\)。要证明带符号的均值与样本方差独立，应像7.7节那样保留均值方向的正态坐标，而非仅依赖它的平方。

图16.2-1　二维均值与残差分解（坐标与平方范数均精确）。图中一个确定向量展示 \(\|Z\|^2=\|HZ\|^2+\|(I-H)Z\|^2\)；随机分量的独立性由模型和定理保证，单个向量的几何图不能证明独立性。

非零均值也要处理。若 \(Y\sim N_d(m,\sigma^2I_d)\)、\(\sigma^2>0\)，则 \(Y^\mathsf TPY/\sigma^2\) 是秩 \(r\)、非中心参数 \(\|Pm\|^2/\sigma^2\) 的非中心卡方，即独立单位方差正态坐标带均值后的平方和；只有 \(Pm=0\) 才是中心卡方。若要消去均值，应改用 \((Y-m)^\mathsf TP(Y-m)/\sigma^2\)。一般正定协方差 \(\Sigma\) 下，先令 \(W=\Sigma^{-1/2}(Y-m)\sim N_d(0,I_d)\)，再检查转换后的矩阵是否为固定正交投影。普通几何正交在相关误差下不保证独立；两个线性高斯分量 \(AY\)、\(BY\) 独立的准确条件是 \(A\Sigma B^\mathsf T=0\)。

对固定对称矩阵 \(A\)，谱分解通常给出 \(Z^\mathsf TAZ\overset d=\sum_i\lambda_iV_i^2\)，其中 \(V_i\) 独立标准正态。特征值不同于0、1时，这一般是加权平方和，不能只看秩就宣称为卡方。若投影矩阵由同一份数据选择，上面的固定矩阵证明也不能直接套用。

16.2.4 独立卡方比与 F 枢轴量

定义 16.2-2　F 分布

若 \(U\sim\chi^2_r\)、\(V\sim\chi^2_s\) 相互独立，\(r,s\ge1\)，则 \(R=(U/r)/(V/s)\) 的分布称为 \(F_{r,s}\)。两个自由度的顺序分别对应分子、分母；分母为正几乎必然。

密度推导

用变换 \(u=(r/s)xv\)、\(v=v\)，雅可比为 \((r/s)v\)。将两个卡方密度相乘后积分掉 \(v\)，其幂次为 \((r+s)/2-1\)，指数率为 \((1+rx/s)/2\)。Gamma 积分给出

\[f_{r,s}(x)=\frac{\Gamma((r+s)/2)}{\Gamma(r/2)\Gamma(s/2)}\left(\frac rs\right)^{r/2}x^{r/2-1}\left(1+\frac rsx\right)^{-(r+s)/2},\qquad x>0.\]

(16.2-4)

交换 \(U,V\) 直接得到 \(1/R\sim F_{s,r}\)。又因标准正态的平方服从 \(\chi^2_1\)，式(16.2-2)立即给出 \(T^2\sim F_{1,\nu}\)，平方后符号信息已经消失。

两组独立正态样本分别有样本量 \(n,m\ge2\)，总体方差 \(\sigma_X^2,\sigma_Y^2>0\)，其均值可以不同。记样本方差为 \(S_X^2,S_Y^2\)，方差比参数为 \(\rho=\sigma_X^2/\sigma_Y^2\)。每组的中心化残差平方和服从卡方，两组之间独立，因此

\[Q(X,Y,\rho)=\frac{S_X^2/S_Y^2}{\rho}=\frac{S_X^2/\sigma_X^2}{S_Y^2/\sigma_Y^2}\sim F_{n-1,m-1}.\]

(16.2-5)

这是参数无关的枢轴量；未除以 \(\rho\) 的样本方差比在一般参数下不是同一个 F 分布。检验方差相等时，给定 \(\rho=1\) 才能直接使用该分布。成对测量或共同随机环境下，两组样本可能相关，须重新验证独立性。

16.2.5 两个有限样本算例

例16.2-1　五次正态测量的均值区间

在独立同分布正态测量模型下，观测值为 \(8,9,10,11,12\)。总体均值和方差均未知。样本均值为10，残差平方和为 \(4+1+0+1+4=10\)，故 \(s^2=10/4=2.5\)，均值标准误的估计值为 \(s/\sqrt5=1/\sqrt2\)。记 \(t_{\nu,p}\) 为 t 分布的 \(p\) 分位数，\(t_{4,0.975}\approx2.776445\)。由精确枢轴量反解，95%区间为

\[\bar x\pm t_{4,0.975}\frac{s}{\sqrt5}=10\pm1.963243=[8.036757,\,11.963243].\]

(16.2-6)

覆盖率95%来自 \(P_{\mu,\sigma}(|T|\le t_{4,0.975})=0.95\)，对模型中每个 \(\mu\in\mathbb R\)、\(\sigma>0\) 都成立。数字舍入只影响给出的端点精度。若把临界值替换为1.96，就不是这个小样本模型下的精确95%区间；样本仅有五个观测也不能自行验证正态假设。

图16.2-2　\(t_4\) 与标准正态密度的精确函数曲线。t 分布中心略低、尾部较厚，因而相同双侧尾概率对应更大的临界值；显示范围以外仍有概率质量。

例16.2-2　两组三个观测的方差比

设两组来自相互独立的正态样本，观测分别为 \(8,10,12\) 和 \(9,10,11\)。两组均值都是10，但残差平方和分别为8、2，故 \(s_X^2=4\)、\(s_Y^2=1\)，样本方差比为4。自由度均为2，式(16.2-4)化为 \(f_{2,2}(x)=(1+x)^{-2}\)，所以分布函数为 \(G(x)=x/(1+x)\)。

若给定方差相等，则样本方差比至少为4的精确概率是 \(1-G(4)=1/5=0.20\)。这是指定方向的尾概率；双侧检验的拒绝域还需说明两侧如何分配。更一般地，\(G^{-1}(p)=p/(1-p)\)，因此等尾95%枢轴事件为 \(1/39\le (S_X^2/S_Y^2)/\rho\le39\)。反解得到 \(\rho\) 的区间 \([4/39,156]\)，约为 \([0.10256,156]\)。两组各三次测量提供的方差信息很少，这个精确区间相应很宽。

16.2.6 正态条件与近似的边界

精确 t/F 推断需要本节列出的正态性、独立性和正自由度条件。只有有限均值方差不足以获得均值与样本方差的独立性；单独知道两个平方和各自服从卡方，也不足以保证它们的比服从 F。

反例16.2-1　两个伯努利观测

令 \(X_1,X_2\) 独立服从 \(\operatorname{Bernoulli}(1/2)\)。样本相等的概率为 \(1/2\)，此时 \(S^2=0\)，均值取0或1，学生化比值无法按通常公式定义。样本不相等时，\(\bar X=1/2\)、\(S^2=1/2\)，故 \(\sqrt2(\bar X-1/2)/S=0\)。任意补定义也不能把这个离散分布变为连续的 \(t_1\)。两组这种样本的方差比同样可能出现零分母，不能使用 \(F_{1,1}\)。

对一般独立同分布总体，若 \(0<\operatorname{Var}X<\infty\)，大数定律使 \(S^2\) 一致估计总体方差，再由中心极限定理和10.3.5小节的 Slutsky 定理可得学生化均值渐近标准正态。在 \(S=0\) 的事件上可任意有限补定义，其概率趋于零。这里得到的是大样本极限，不是每个样本量都精确服从 t。无限方差、相关抽样或数据选择还可能需要其他极限理论。后续各章将分别建立精确推断与渐近推断的适用条件。

习题与解答

习题16.2-1　均值分量与残差分量（证明）

设 \(Z\sim N_n(0,I_n)\)、\(H=\boldsymbol1\boldsymbol1^\mathsf T/n\)，证明 \(HZ\) 与 \((I-H)Z\) 独立，并说明两个协方差矩阵虽奇异，结论为何仍成立。

解

两个分量拼接后仍是联合正态向量，其交叉协方差为 \(H(I-H)^\mathsf T=H-H^2=0\)。联合正态向量的矩母函数因此分为两组变量的乘积，给出独立性。这个论证不使用可逆协方差或联合密度，所以适用于奇异高斯分布。两个平方范数随后分别服从秩1与秩 \(n-1\) 的卡方；直接证明向量独立比仅看二次型更强。

习题16.2-2　F 比的顺序（计算）

在例16.2-2中，求给定两总体方差相等时 \(P(S_X^2/S_Y^2\ge9)\)，并把95%区间改写为 \(\sigma_Y^2/\sigma_X^2\) 的区间。

解

此处抽样比值服从 \(F_{2,2}\)，尾概率为 \(1-G(9)=1/10\)。倒数变换交换分子和分母；本例自由度恰好相同，但一般情形必须将两自由度也交换。方差比都是正数，区间取倒数时还要交换端点，因而所求区间是 \([1/156,39/4]\)，约为 \([0.006410,9.75]\)。不能逐端点取倒数后仍保留原来的大小顺序。

习题16.2-3　相同边缘分布不足以推出 F（反例）

令 \(U\sim\chi^2_r\)、\(V=U\)。判断 \((U/r)/(V/r)\) 是否服从 \(F_{r,r}\)，并分析此例破坏了哪项条件。

解

卡方变量几乎必然为正，故该比值几乎必然恒等于1。\(F_{r,r}\) 却有正半轴上的连续密度，显然不是同一分布。此例中两个卡方边缘和自由度都正确，失败原因是分子、分母完全依赖。定义中的独立性属于联合分布条件，不能通过分别检查两个边缘来替代。

习题16.2-4　秩、特征值与非中心性（辨析）

设 \(Z\sim N_2(0,I_2)\)，\(A=\operatorname{diag}(2,0)\)。证明 \(Z^\mathsf TAZ\) 不服从 \(\chi^2_1\)。再令 \(Y\sim N_2((a,0)^\mathsf T,I_2)\)、\(P=\operatorname{diag}(1,0)\)，判断 \(Y^\mathsf TPY\) 何时是中心卡方。

解

前一个二次型等于 \(2Z_1^2\)，期望为2，而 \(\chi^2_1\) 的期望为1，所以分布不同。虽然矩阵秩均为1，\(A^2\ne A\)，它不是正交投影。后一个二次型等于均值为 \(a\) 的标准方差正态变量的平方，是自由度1、非中心参数 \(a^2\) 的非中心卡方，即独立单位方差正态坐标带均值后的平方和；只有 \(a=0\) 时为中心卡方。中心化为 \((Y_1-a)^2\) 后则始终服从 \(\chi^2_1\)。

关键术语

抽样分布：固定模型参数后，统计量在重复抽样下的分布。
枢轴量：由样本与参数构成、分布不含未知参数的量。
标准误：统计量抽样分布的标准差。
自由度：本节卡方分解中独立标准正态平方项的数量。
正交投影：到固定子空间的对称幂等线性映射。
中心与非中心卡方：单位方差正态平方和的分布；非零投影均值产生非中心参数。
Student t 分布：标准正态与独立归一化卡方平方根之比的分布。
F 分布：两个独立卡方量分别除以自由度后的比值分布。

参考文献

Jun Shao，University of Wisconsin–Madison，Stat 609，Lecture 15: Multivariate Normal Distributions，2015。定理N1讨论高斯线性分量的独立条件，定理N3与N4讨论卡方二次型及Cochran定理。
NIST/SEMATECH，e-Handbook of Statistical Methods：t Distribution。用于核对 t 密度、自由度与分位数定义。
NIST/SEMATECH，e-Handbook of Statistical Methods：F Distribution。用于核对独立卡方比的密度及两个自由度的顺序。