主要先修：7.3 协方差、和的方差与相关系数、7.5 条件期望与预测、16.1 统计模型、似然与可识别性、17.1 偏差、风险与一致性。
统计基础后即可进入本节的有限样本投影与Gauss–Markov证明。接20.2获得正态误差下的精确推断，然后按数据机制分到20.3、20.4、20.5或20.6。 查看全书依赖图与分支路线。
20.1.1 固定设计与均值模型
令响应向量为 \(Y\in\mathbb R^n\)，设计矩阵为 \(X\in\mathbb R^{n\times p}\)，未知系数为 \(\beta\in\mathbb R^p\)。本节先把 \(X\) 看成固定矩阵，\(p\) 包括截距在内的全部系数个数。设计列可以是原始特征、平方项或预先指定的函数；“线性”指均值对系数线性，并不要求它对原始特征线性。常数列 \(\mathbf1_n\) 表示截距，但模型也可以不含截距。
设 \(n\ge p\)，\(\operatorname{rank}(X)=p\)，且
零均值规定正确的均值模型；协方差条件规定每个误差具有相同的有限方差，任意两个不同误差不相关。这里没有要求误差独立、同分布或正态。满列秩意味着 \(X\beta=X\beta'\) 只能发生在 \(\beta=\beta'\)，所以系数由均值可识别。
固定设计下的期望和协方差，均指保持这些设计值不变、重新生成响应时的抽样性质。单次数据中的残差是否相加为零，与真实误差是否具有零均值，是两个不同问题：前者由拟合的代数结构产生，后者是对数据生成机制的假设。
20.1.2 最小二乘是正交投影
普通最小二乘（OLS）选择使 \(Q(b)=\|Y-Xb\|^2\) 最小的系数。梯度为 \(-2X^\mathsf T(Y-Xb)\)，Hessian为 \(2X^\mathsf TX\)。满列秩使后者正定，故正规方程有唯一解：
直接相乘可得 \(H^\mathsf T=H\)、\(H^2=H\) 和 \(HX=X\)。因此 \(H\) 是到列空间 \(\mathcal C(X)\) 的正交投影，\(\widehat Y\) 是拟合值，\(e\) 是残差。正规方程说明 \(X^\mathsf Te=0\)，从而 \(\widehat Y^\mathsf Te=0\)。对任意 \(b\)，\(X(\widehat\beta-b)\) 属于列空间，故
这也从几何上证明了最小化。含截距时 \(\sum_i e_i=0\)，所以拟合值与响应的样本均值相同；不含截距时不能添加这项结论。上述等式都是对每个输入向量成立的代数恒等式，尚未使用任何概率假设。
20.1.3 无偏性、协方差与残差方差
由于 \(LX=I_p\)，估计误差恰为 \(\widehat\beta-\beta=L\varepsilon\)。利用式(20.1-1)，逐项得到
设 \(M=I_n-H\)。它是秩为 \(n-p\) 的正交投影，且 \(MX=0\)，所以 \(e=M\varepsilon\)、\(Ee=0\)、\(\operatorname{Cov}(e)=\sigma^2M\)。残差各分量一般彼此相关，也不都具有方差 \(\sigma^2\)：第 \(i\) 个残差的方差为 \(\sigma^2(1-h_{ii})\)。不过 \(LM=0\)，故 \(\operatorname{Cov}(\widehat\beta,e)=0\)。
当 \(n>p\) 时，残差平方和可以估计误差方差：
迹等式来自平方范数期望等于各分量二阶矩之和，并使用了 \(Ee=0\)。若 \(n=p\)，满秩时 \(H=I_n\)，每个响应都能被完全拟合，残差无法提供方差信息。若误差协方差改为 \(\Sigma\)，零均值仍给出无偏性，但系数协方差变为 \(L\Sigma L^\mathsf T\)，式(20.1-4)的简式和最优性需要重新检查，见20.3节。
20.1.4 Gauss–Markov定理及比较范围
在式(20.1-1)条件下，考虑一切 \(\widetilde\beta=AY\)，其中 \(A\) 是不依赖响应和未知参数的固定 \(p\times n\) 矩阵，且对每个 \(\beta\in\mathbb R^p\) 无偏。则
符号 \(\succeq0\) 表示半正定：每个 \(c\in\mathbb R^p\) 都满足 \(\operatorname{Var}(c^\mathsf T\widetilde\beta)\ge\operatorname{Var}(c^\mathsf T\widehat\beta)\)。因此OLS是最佳线性无偏估计，简称BLUE。
完整证明。无偏性要求 \(AX\beta=\beta\) 对所有 \(\beta\) 成立，等价于 \(AX=I_p\)。因 \(LX=I_p\)，有 \(DX=0\)。交叉项满足 \(LD^\mathsf T=(X^\mathsf TX)^{-1}X^\mathsf TD^\mathsf T=0\)，其转置也为零。因此
任意方向 \(c\) 上的差为 \(\sigma^2c^\mathsf TDD^\mathsf Tc=\sigma^2\|D^\mathsf Tc\|^2\ge0\)，证明半正定结论。整个协方差矩阵相等当且仅当 \(D=0\)，因为 \(\sigma^2>0\) 且 \(\operatorname{tr}(DD^\mathsf T)\) 是 \(D\) 所有元素平方的和。单个方向相等只要求 \(D^\mathsf Tc=0\)。证明只用了前两阶矩。∎
“线性”是指估计量对响应 \(Y\) 线性；用响应选择设计列、再进行回归，不属于此处的固定矩阵类。定理同时比较所有线性组合的方差，比仅比较各系数的方差更强，但它不比较非线性估计器，也不声称OLS在允许偏差的平方风险类中最优。收缩可以通过引入偏差降低某些参数处的风险，见17.1节。
20.1.5 简单回归的完整手算
含截距的简单回归使用两列 \(\mathbf1_n,x\)。令 \(S_{xx}=\sum_i(x_i-\bar x)^2\)、\(S_{xy}=\sum_i(x_i-\bar x)(Y_i-\bar Y)\)。满列秩等价于 \(S_{xx}>0\)。解正规方程得到 \(\widehat\beta_1=S_{xy}/S_{xx}\)、\(\widehat\beta_0=\bar Y-\widehat\beta_1\bar x\)，以及
取固定设计 \(x=(0,1,2,3,4)\)，观察到 \(y=(1,2,2,4,6)\)。有 \(\bar x=2\)、\(\bar y=3\)、\(S_{xx}=10\)、\(S_{xy}=12\)，故截距为 \(3/5\)，斜率为 \(6/5\)。拟合值依次为 \((3,9,15,21,27)/5\)，残差为 \((2,1,-5,-1,3)/5\)。可直接检查 \(\sum e_i=0\)、\(\sum x_ie_i=0\)。平方和为 \(8/5\)，残差自由度为 \(5-2=3\)，因此 \(\widehat\sigma^2=8/15\)。
将它代入式(20.1-8)，得到估计协方差矩阵 \(\left(\begin{smallmatrix}8/25&-8/75\\-8/75&4/75\end{smallmatrix}\right)\)。截距标准误约为 \(0.5657\)，斜率标准误约为 \(0.2309\)。这些是对真实标准差的估计值；未指定误差分布时，不能据此直接宣称系数的学生化统计量服从精确 \(t_3\) 分布。
设计分散程度越大，\(S_{xx}\) 越大，斜率方差越小。把特征中心化为 \(x_i-\bar x\) 后，新截距估计为 \(\bar Y\)，其方差是 \(\sigma^2/n\)，并与斜率不相关；这属于系数的重新参数化，拟合值不变。
20.1.6 随机设计、秩不足与遗漏变量
若 \(X\) 是随机矩阵，须先核查 \(\operatorname{rank}(X)=p\) 几乎必然、\(E(\varepsilon\mid X)=0\) 和 \(\operatorname{Cov}(\varepsilon\mid X)=\sigma^2I_n\)。条件于实现的设计，前面的证明逐字成立：\(E(\widehat\beta\mid X)=\beta\)，条件协方差为 \(\sigma^2(X^\mathsf TX)^{-1}\)。此时比较矩阵允许是 \(X\) 的可测函数，但必须满足 \(A(X)X=I_p\) 几乎必然。若 \(E\operatorname{tr}\{(X^\mathsf TX)^{-1}\}<\infty\)，可再取期望得到无条件协方差；没有这一矩条件，不能声称无条件方差有限。仅有 \(E\varepsilon=0\) 不足以保证条件零均值或OLS无偏。
若秩不足，正规方程仍有最小二乘解，且拟合值作为到 \(\mathcal C(X)\) 的投影仍唯一；系数却可以沿 \(\ker X\) 任意移动。采用Moore–Penrose广义逆指定一个系数解，是选定代表，并未恢复可识别性。例如三列 \((\mathbf1,x,2x)\) 只能识别 \(\beta_0\) 与 \(\beta_1+2\beta_2\)。
遗漏变量则可能在满秩时改变估计目标。若真实均值为 \(X\beta+z\gamma\)，但仅对 \(X\) 回归，固定设计下
取 \(x=(-1,0,1,2)\)、\(w=(1,-1,-1,1)\)、\(z=x+w=(0,-1,0,3)\)。真实模型为 \(Y_i=1+2x_i+3z_i+\varepsilon_i\)，误差满足固定设计下的零均值与 \(\sigma^2I_4\) 协方差条件。因为 \(\sum w_i=\sum x_iw_i=0\)，向量 \(w\) 与短模型的两列正交，故 \(Lz=(0,1)^\mathsf T\)。只使用截距和 \(x\) 的回归，系数期望为 \((1,5)^\mathsf T\)，斜率相对原系数 \(2\) 的偏差为 \(3\)。
四个响应的真实均值为 \((-1,-2,3,14)\)，它们在短模型中的投影是 \(1+5x=(-4,1,6,11)\)，均值残差为 \(3w=(3,-3,-3,3)\)。于是残差仍满足正规方程，但短模型的误差均值不是零。\((1,5)\) 是这些均值的最小二乘投影系数，不能解释成原模型中控制 \(z\) 后的系数。完整设计 \((\mathbf1,x,z)\) 满秩；这里的问题来自删去一列。
在独立同分布的随机特征情形，若有关变量平方可积、\(\operatorname{Var}(x)>0\)、\(E(\varepsilon\mid x,z)=0\)，总体短回归斜率是 \(\beta_1+\gamma\operatorname{Cov}(x,z)/\operatorname{Var}(x)\)。这是总体平方误差的投影目标，见19.2节；一般不等于有限样本随机分母的期望，也不能仅凭回归系数推出因果效应。
20.1.7 二阶矩结论与分布推断的边界
Gauss–Markov条件给出了精确的无偏性和协方差，但没有指定完整抽样分布。不相关不推出独立：只含截距、\(n=2\)，设误差独立且各以相同概率取 \(\pm1\)。则 \(\widehat\beta-\beta\) 以概率 \(1/2\) 为零，此时残差平方和为2；它非零时残差平方和必为零。因此系数估计与残差虽然不相关，却不独立，学生化统计量还可能因分母为零而无定义。
若额外要求误差联合正态，投影后的独立性与卡方分布才能提供下一节的精确 \(t\)、\(F\) 推断。若采用渐近正态近似，则另须为设计序列、误差矩和依赖程度给出合适条件；本节的有限样本二阶矩定理本身没有包含中心极限定理。
20.1.8 习题与解答
习题20.1-1 · 证明残差方差估计无偏
在固定设计Gauss–Markov模型中，\(n>p\)。证明 \(E(e^\mathsf Te)=\sigma^2(n-p)\)，并说明为什么一般不能用 \(n\) 作无偏估计的分母。
由 \(e=M\varepsilon\)、\(M^2=M=M^\mathsf T\)，有 \(e^\mathsf Te=\varepsilon^\mathsf TM\varepsilon\)。展开双重求和，零均值和不相关使交叉项期望为零，对角项各贡献 \(\sigma^2m_{ii}\)，故期望为 \(\sigma^2\operatorname{tr}M=\sigma^2(n-p)\)。除以 \(n\) 的期望是 \((1-p/n)\sigma^2\)，当 \(p>0\) 时向下偏；损失的自由度来自拟合的列空间，不取决于误差正态性。
习题20.1-2 · 明确计算另一个线性无偏估计的损失
令 \(n=3\)、\(X=\mathbf1_3\)，误差满足本节条件。比较样本均值与 \(\widetilde\beta=(Y_1+Y_2)/2\) 的方差，并用式(20.1-6)核对。
两个系数行向量的元素和均为1，故二者对所有均值参数无偏。样本均值方差为 \(\sigma^2/3\)，另一个估计量方差为 \(\sigma^2/2\)。取 \(D=(1/6,1/6,-1/3)\)，有 \(DX=0\) 且 \(DD^\mathsf T=1/36+1/36+1/9=1/6\)，方差差恰为 \(\sigma^2/6\)。即使误差不独立，只要协方差条件成立，这一计算仍然有效。
习题20.1-3 · 秩不足时哪些系数能够识别
设 \(x\) 不恒定，设计为 \((\mathbf1,x,2x)\)，系数为 \((\beta_0,\beta_1,\beta_2)\)。证明单独的 \(\beta_1\) 不可识别，确定一个可识别的斜率，并解释广义逆的作用。
任取实数 \(t\)，把系数改成 \((\beta_0,\beta_1+2t,\beta_2-t)\)，均值向量完全不变。因此相同误差分布下两个参数产生同一响应分布，不可能有估计量对全部参数同时无偏估计 \(\beta_1\)。均值实际为 \(\beta_0+(\beta_1+2\beta_2)x\)；由于 \(x\) 不恒定，截距与组合斜率均可识别。广义逆选择最小欧氏范数的系数代表，使该斜率的两个分量按1与2分配，但这只是约定，不能区分原始系数。
习题20.1-4 · 无条件零均值为什么不够
考虑一个不含截距的单观测随机设计模型，\(x\) 以相同概率取1或2，\(\varepsilon=x-3/2\)，\(Y=x\beta+\varepsilon\)。求OLS的期望，指出违反的条件。
两个可能设计都非零，故各自满秩，且 \(E\varepsilon=0\)。然而 \(E(\varepsilon\mid x)=x-3/2\) 不为零。OLS为 \(Y/x=\beta+\varepsilon/x\)；误差项分别为 \(-1/2\) 与 \(1/4\)，其平均值为 \(-1/8\)，所以 \(E\widehat\beta=\beta-1/8\)。偏差来自随机设计与误差的关联，不能先把设计当作固定量再引用无条件的零均值。此例 \(n=p\)，也没有残差自由度可估计方差。
关键术语
- 固定设计：抽样分析中保持设计矩阵的所有元素不变，仅响应由模型随机生成。
- 满列秩：所有设计列线性独立，使不同系数对应不同均值向量。
- 普通最小二乘：通过最小化响应与线性拟合值之间的平方距离估计系数。
- 正规方程：要求残差与每个设计列正交的线性方程组。
- 投影矩阵：把任意响应映射到指定列空间的对称幂等矩阵。
- 同方差：在指定设计条件下，每个误差分量具有相同方差。
- 最佳线性无偏估计：在对响应线性且对全部参数无偏的类中，每个系数组合的方差均最小的估计量。
- 遗漏变量偏差：删去真实均值中的设计项后，估计系数相对原参数产生的系统偏移。
参考文献
- Peter Kempthorne，MIT 18.655，2016：Lecture 2: Statistical Models，回归模型部分区分Gauss–Markov的矩条件与正态误差条件。
- Peter Kempthorne，MIT 18.655，2016：Lecture 19: Gaussian Linear Models，OLS部分给出正规方程、满列秩条件、投影与正交残差；后续分布结论另以正态性为前提。
- CMU，Lecture 24: Weighted and Generalized Least Squares，第3节给出Gauss–Markov的线性无偏比较证明；取误差协方差为 \(\sigma^2I_n\) 即得本节情形。