主要先修：16.2 正态抽样、枢轴量与精确分布、18.4 精确置信区间与非渐近保证、20.1 线性回归与Gauss–Markov定理。
在20.1的投影之后加入正态假设，得到精确t/F与预测区间。这条路线无需先读19.2–19.4或经验过程。 查看全书依赖图与分支路线。
20.2.1 模型条件与残差自由度
Gauss–Markov定理在均值、方差和不相关条件下讨论线性无偏估计的方差。本节增加正态分布条件，目标是精确抽样分布。固定设计矩阵\(X\in\mathbb R^{n\times p}\)满足\(\operatorname{rank}(X)=p\)、\(1\le p<n\)，模型为
这表示误差独立、同方差且正态。响应均值可因设计行不同而不同，因此并未要求所有\(Y_i\)同分布。\(p\)计入全部估计系数，包括存在时的截距。令
\(P\)是到设计列空间的正交投影，\(e\)是残差向量。自由度\(\nu\)是残差子空间的维数，不是残差向量分量的个数。用于本节t与F枢轴的\(s^2\)有分母\(n-p\)；正态似然中方差的MLE\(\operatorname{RSS}/n\)是另一估计量，不能直接替换而保持同一枢轴分布。
20.2.2 正交正态坐标给出独立性与卡方律
在式(20.2-1)的条件下，
因此\(\widehat\beta\)也与\(s^2\)独立，且\(E(s^2)=\sigma^2\)。
完整证明。取\(U\in\mathbb R^{n\times p}\)为设计列空间的标准正交基，\(V\in\mathbb R^{n\times\nu}\)为其正交补的标准正交基，使\([U,V]\)为正交矩阵。于是\(P=UU^{\mathsf T}\)、\(\operatorname{Id}_n-P=VV^{\mathsf T}\)。对误差作正交变换：
变换后的联合协方差为单位矩阵；联合正态密度按坐标分解，所以两组坐标独立。这使用正态变量的正交变换性质，不是从一般随机变量的零协方差推出独立。因\(X^{\mathsf T}V=0\)，
系数误差仅依赖第一组，残差仅依赖第二组，故独立。残差平方和是\(\nu\)个独立标准正态平方之和，得到卡方律。系数误差的协方差由\((X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon\)直接计算为\(\sigma^2(X^{\mathsf T}X)^{-1}\)，完成正态分布结论。卡方均值为\(\nu\)，从而得到方差估计的无偏性。证毕。
原始残差分量通常相关，其协方差是\(\sigma^2(\operatorname{Id}_n-P)\)。若设计含截距，还有\(\sum_i e_i=0\)。不能把\(n\)个残差当作\(n\)个独立正态误差来计算自由度。
20.2.3 线性组合的t检验与小样本区间
对预先指定的非零向量\(a\in\mathbb R^p\)，目标是线性组合\(a^{\mathsf T}\beta\)。定理20.2.1及t分布的构造给出精确枢轴：
标准化分子为标准正态，与分母中的\(\operatorname{RSS}/\sigma^2\sim\chi^2_\nu\)独立。因此固定\(0<\alpha<1\)时，精确\(1-\alpha\)置信区间为
检验\(a^{\mathsf T}\beta=c_0\)时，将\(c_0\)代入分子并进行双侧t比较。取\(a\)为坐标单位向量，即得到单个系数区间。多项区间各自为95%，不自动构成共同95%覆盖，相关校正见多重检验。
模型含截距与斜率，固定观测位置为\(0,1,2,3,4\)，响应观察为\(1,2,1,4,5\)。有\(n=5,p=2,\bar x=2,\bar y=13/5\)，\(\sum(x_i-\bar x)^2=10\)、\(\sum(x_i-\bar x)(y_i-\bar y)=10\)，故估计斜率为1，截距为\(3/5\)。具体矩阵与残差给出
斜率检验。标准误为\(s/\sqrt{10}=4/\sqrt{150}\approx0.326599\)，检验斜率为零的t值为\(\sqrt{150}/4\approx3.061862\)。自由度是3，\(t_{3,0.975}\approx3.182446\)，所以\(5\%\)双侧检验不拒绝，p值约\(0.054913\)。斜率95%区间为\([-0.039383,2.039383]\)。五个观测下使用标准正态门槛或错误自由度会改变这一结论；这里的t分布是有限样本精确结果。
20.2.4 一般线性约束与嵌套模型F检验
设\(C\in\mathbb R^{r\times p}\)满行秩，\(1\le r\le p\)，\(b\in\mathbb R^r\)已指定。对\(H_0:C\beta=b\)，令\(B=C(X^{\mathsf T}X)^{-1}C^{\mathsf T}\)，则原假设下
拒绝规则为\(F>F_{r,n-p,1-\alpha}\)。自由度\(r\)计独立约束，不是重复书写的约束行数。
证明。满行秩使\(B\)正定。原假设下\(C\widehat\beta-b\sim N_r(0,\sigma^2B)\)，标准化向量\(\sigma^{-1}B^{-1/2}(C\widehat\beta-b)\)服从\(N_r(0,\operatorname{Id}_r)\)，其平方范数服从\(\chi_r^2\)。该向量是系数估计的函数，与\(\operatorname{RSS}\)独立。故F是两个独立卡方变量分别除以自由度后的比值，正是F分布。证毕。
还可用约束模型的残差平方和表示它。记全模型残差为\(\operatorname{RSS}_1\)，约束模型残差为\(\operatorname{RSS}_0\)。约束最小二乘解为\(\widetilde\beta=\widehat\beta-(X^{\mathsf T}X)^{-1}C^{\mathsf T}B^{-1}(C\widehat\beta-b)\)。全模型正规方程消去交叉项，给出
对两个事先指定的嵌套线性模型，约束模型列空间包含于全模型列空间，维数分别为\(p_0<p\)。新增方向数\(r=p-p_0\)，于是方差分析（ANOVA）形式为
若两模型的投影为\(P_0,P_1\)，则\(P_1-P_0\)是秩\(p-p_0\)的正交投影，且与\(\operatorname{Id}_n-P_1\)的乘积为零。原假设下均值在小模型中，这两个正交部分分别给出独立的\(\chi_r^2\)和\(\chi_{n-p}^2\)。分母必须用全模型残差自由度。单个约束时，F值等于对应双侧t值的平方。
沿用例1的观测位置与响应，令\(w_i=x_i-2\)，新增列\(z_i=w_i^2-2\)，即\(z=(2,-1,-2,-1,2)^{\mathsf T}\)。它与常数列、\(w\)列正交，\(z^{\mathsf T}z=14\)、\(z^{\mathsf T}y=4\)。全模型为常数、\(w\)和\(z\)三列，其系数估计为\((13/5,1,2/7)\)；约束模型令二次系数为零，仍是例1的直线模型。
平方和与F值。新增方向解释的平方和为\(4^2/14=8/7\)，故
新增一个方向，所以分子自由度为1；全模型有三个系数，分母自由度为\(5-3=2\)。参照\(F_{1,2}\)，p值约\(0.402386\)，在\(0.05\)下不拒绝二次系数为零。残差下降本身不等于显著；这里也不能把约束模型的3个残差自由度放进分母。此结论没有证明均值函数必然为直线。
20.2.5 均值响应区间与独立未来观测预测区间
固定一个非零设计向量\(x_*\in\mathbb R^p\)，均值响应是参数\(m_*=x_*^{\mathsf T}\beta\)，其估计为\(\widehat m_*=x_*^{\mathsf T}\widehat\beta\)。令\(h_*=x_*^{\mathsf T}(X^{\mathsf T}X)^{-1}x_*\)。均值置信区间是
若目标是一个新观测\(Y_*=x_*^{\mathsf T}\beta+\varepsilon_*\)，必须再要求\(\varepsilon_*\sim N(0,\sigma^2)\)且与训练误差独立。预测误差包含新误差和估计误差：
预测枢轴的证明。两项都是正态，且新误差与系数估计独立，方差相加给式(20.2-14)。新误差与整个训练误差向量独立，训练误差的估计与残差坐标又按定理20.2.1相互独立，故\((\varepsilon_*,\widehat\beta-\beta)\)联合与\(e\)独立。整个预测误差因而与\(s^2\)独立。因此\((Y_*-\widehat m_*)/[s\sqrt{1+h_*}]\sim t_\nu\)，得到精确预测区间
额外的\(1\)对应不可由增加训练样本消除的新观测噪声，不是截距列带来的项。证毕。
区间计算继续采用例1事先指定的直线模型。在预测变量取值2处，设计向量\(x_*=(1,2)^{\mathsf T}\)，有\(\widehat m_*=2.6\)、\(h_*=1/5\)。均值标准误为\(4/\sqrt{75}\approx0.461880\)，预测标准误为\(4\sqrt2/5\approx1.131371\)。用同一个\(t_{3,0.975}\)，均值95%区间为\([1.130091,4.069909]\)，独立未来观测95%预测区间为\([-1.000527,6.200527]\)。
预测覆盖同时对训练响应和独立未来响应取概率；给定已经观察到的全部训练响应，覆盖概率一般不恰为95%。本节在每个固定\(x_*\)处给出精确覆盖，但对多个位置分别作95%区间，并不构成同时95%置信带。覆盖结论也不是参数的后验概率。
20.2.6 精确保证的条件不能省略
固定设计并不要求预测变量服从正态；正态假设放在给定设计下的误差上。若设计随机，且给定\(X\)后式(20.2-1)成立、满列秩条件几乎必然成立，上述推断仍可按条件分布应用。只知道误差的边际分布正态，不足以代替这个条件模型。
同方差、不相关与Gauss–Markov最优性，也不单独保证t与F的精确分布。非正态误差可以使系数和残差不独立，异方差或相关误差会改变正交坐标的协方差，后续处理见稳健标准误。若\(n=p\)且设计可逆，残差恒为零，无正的残差自由度；若设计不满列秩，则系数不唯一，不能直接使用这些逆矩阵公式。
一个已经用于拟合的训练响应，不是独立未来观测。它与拟合值的差就是残差，方差为\(\sigma^2(1-P_{ii})\)，不能使用\(1+h_*\)的未来预测误差公式。根据同一响应反复筛选模型，再把选出的模型当作预先固定，也会改变检验与覆盖，模型选择问题见20.5节。
20.2.7 习题与完整解答
习题20.2-1 错误自由度与错误方差分母
在例1中，若保留正确\(s^2\)，却用\(t_5\)的双侧5%门槛，结论怎样改变？另若把\(s^2\)换为\(\operatorname{RSS}/5\)，新的统计量与正确t值是什么关系？
正确t值约\(3.061862\)，小于\(t_{3,0.975}\approx3.182446\)，但大于\(t_{5,0.975}\approx2.570582\)，所以错误自由度会导致拒绝。真实原假设下统计量仍服从\(t_3\)，故这一门槛的实际错误率为\(2P(t_3>2.570582)\approx0.082451\)，不是\(0.05\)。若用\(\operatorname{RSS}/5\)，标准误缩小为正确值的\(\sqrt{3/5}\)，统计量变为\(\sqrt{5/3}\,T\approx3.952847\)，其分布是缩放后的\(t_3\)，不能保留通常t门槛。
习题20.2-2 单个线性约束的F为何等于t平方
证明\(r=1,C=a^{\mathsf T},b=c_0\)时，式(20.2-9)等于双侧t统计量平方，并在例1斜率为零的检验中求F值。
此时\(B=a^{\mathsf T}(X^{\mathsf T}X)^{-1}a\)是正标量，故\(F=(a^{\mathsf T}\widehat\beta-c_0)^2/(s^2B)=T^2\)。原假设下\(T\sim t_\nu\)，按独立正态与卡方构造即有\(T^2\sim F_{1,\nu}\)，两个双侧检验给出相同拒绝事件。例1中\(F=150/16=75/8=9.375\)，小于\(F_{1,3,0.95}\approx10.127964\)，与t检验不拒绝一致。
习题20.2-3 预测多个未来响应的平均值
在同一固定位置取得\(k\)个独立未来响应，其误差也与训练样本独立。推导它们平均值的预测区间，并用例1预测变量取2、\(k=4\)计算95%区间。
未来平均误差方差为\(\sigma^2/k\)。与系数估计误差独立，故\(\operatorname{Var}(\bar Y_*-\widehat m_*)=\sigma^2(h_*+1/k)\)，且预测误差与\(s^2\)独立，得到\(\widehat m_*\pm t_{\nu,1-\alpha/2}s\sqrt{h_*+1/k}\)。本例\(h_*=1/5\)，预测标准误为\(\sqrt{(16/15)(1/5+1/4)}=2\sqrt3/5\)，区间约\([0.395137,4.804863]\)。它位于单个未来响应区间与均值响应区间之间；额外项随独立未来观测数增加而减少。
习题20.2-4 非正态误差下正交不推出独立
取\(n=2,p=1,X=(1,1)^{\mathsf T}\)，误差独立且各以等概率取\(\pm1\)。证明系数估计与残差平方和不独立，尽管满足零均值同方差条件。
有\(\widehat\beta-\beta=(\varepsilon_1+\varepsilon_2)/2\)，\(\operatorname{RSS}=(\varepsilon_1-\varepsilon_2)^2/2\)。同号时系数误差为\(\pm1\)且RSS为零；异号时系数误差为零且RSS为2，各类概率均为\(1/2\)。所以\(P(\widehat\beta=\beta,\operatorname{RSS}=2)=1/2\)，而两边缘概率的乘积是\(1/4\)，不独立。RSS也不具有连续的\(\chi_1^2\)分布，并有一半概率使\(s=0\)，直接说明普通t枢轴不成立。
关键术语
- 固定设计：抽样分布中把设计矩阵视为预先给定。
- 满列秩：设计列线性独立，系数维数等于列空间维数。
- 残差自由度：误差投影到设计正交补后的维数，为\(n-p\)。
- 残差平方和：拟合残差的欧氏平方范数。
- 线性组合：用固定系数向量指定的回归参数目标。
- 一般线性假设：以满行秩矩阵规定若干回归系数的线性约束。
- 嵌套模型：一个模型的允许均值空间包含于另一个模型。
- 方差分析：以正交平方和及其自由度比较模型新增解释方向和残差。
- 均值响应置信区间：覆盖固定设计位置的回归均值参数。
- 预测区间：覆盖独立未来随机响应，须计入新观测噪声。
参考文献
- Kempthorne, P. (2016). MIT 18.655, Lecture 19: Gaussian Linear Models。官方讲义：正交分解、系数与残差独立、残差卡方分布及方差MLE。
- Penn State STAT 501, Lesson 6: MLR Model Evaluation。大学官方课程：一般线性F检验、全模型与约束模型平方和及自由度。本节另给矩阵约束形式与完整分布证明。
- Penn State STAT 501, Lesson 3: SLR Estimation & Prediction，§3.2–3.3。大学官方课程：均值响应置信区间、未来响应预测区间与额外噪声项。本节公式推广到固定满列秩多元设计。