主要先修：20.1 线性回归与Gauss–Markov定理。
技术部分另用：10.6 中心极限定理及其推广、19.1 随机阶与渐近展开，适用段落见下述说明。
20.3.1–20.3.2的已知协方差GLS可紧接20.1。20.3.4–20.3.5的HC与聚类渐近还需要10.6和19.1；19.2供夹心协方差的统一理解。 查看全书依赖图与分支路线。
20.3.1 一般误差协方差与GLS
沿用20.1节的固定设计记号：\(Y=X\beta+\varepsilon\)，\(X\) 为 \(n\times p\) 满列秩矩阵，\(E\varepsilon=0\)。现在令 \(\operatorname{Cov}(\varepsilon)=\Omega\)，其中 \(\Omega\) 是有限的正定矩阵。对角元素不全相同称为异方差，非零的非对角元素表示相关误差。OLS矩阵 \(L=(X^\mathsf TX)^{-1}X^\mathsf T\) 仍满足 \(LX=I_p\)，所以
若 \(\Omega\) 已知，广义最小二乘（GLS）最小化 \((Y-Xb)^\mathsf T\Omega^{-1}(Y-Xb)\)。令 \(C=\Omega^{-1/2}\) 为对称正定逆平方根，则 \(C\varepsilon\) 的协方差为单位阵，称此变换为白化。在变换后的设计 \(CX\) 上求OLS，得到
这里 \(GX=I_p\)，保证无偏性；协方差由 \(G\Omega G^\mathsf T\) 直接化简。白化只使误差不相关，并不自动使其独立或正态。若 \(\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_n^2)\)，GLS就是按权重 \(\sigma_i^{-2}\) 的加权最小二乘。只知道 \(\Omega=\sigma^2V\) 的形状 \(V\) 时，未知公共尺度在点估计中抵消，协方差仍需要尺度。
20.3.2 加权Gauss–Markov定理
在上述固定设计、零均值和已知正定 \(\Omega\) 条件下，任取固定线性估计 \(AY\)，若它对全部 \(\beta\in\mathbb R^p\) 无偏，则
完整证明。无偏性等价于 \(AX=I_p\)，因此 \(DX=0\)。而 \(G\Omega=(X^\mathsf T\Omega^{-1}X)^{-1}X^\mathsf T\)，故 \(G\Omega D^\mathsf T=0\)，转置交叉项也为零。展开 \((G+D)\Omega(G+D)^\mathsf T\)，只剩 \(G\Omega G^\mathsf T+D\Omega D^\mathsf T\)。每个方向 \(a\) 上的差为 \(\|\Omega^{1/2}D^\mathsf Ta\|^2\ge0\)。由于 \(\Omega\) 正定，整个矩阵差为零当且仅当 \(D=0\)。所以GLS在对响应线性、对所有参数无偏的类中最优，无需正态性。∎
用错误但固定的正定权重拟合，仍因估计矩阵乘 \(X\) 等于单位阵而无偏，却一般失去上述最优性，协方差也不能套用错误权重的简式。若由响应估计权重，再做可行GLS，估计矩阵变成响应的函数；有限样本无偏性不再由这一证明保证，其一致性和效率须另行论证。随机设计须条件于整个设计核查零均值与协方差。
八个不相关观测具有同一均值 \(\mu\)，前两个方差为9，后六个方差为1，且方差已知。OLS均值的方差为 \((2\times9+6)/8^2=3/8\)。GLS的总精度为 \(2/9+6=56/9\)，故方差为 \(9/56\)。高方差组的总权重从OLS的 \(1/4\) 降为GLS的 \(1/28\)，低方差组权重为 \(27/28\)。
若观察到 \((8,12,4,5,5,6,6,6)\)，OLS给出 \(13/2=6.5\)，GLS给出 \(\{(8+12)/9+32\}/(56/9)=11/2=5.5\)。真实标准差分别约为 \(0.6124\) 与 \(0.4009\)。这些有限样本方差只依赖矩条件；若误差未指定正态，不能直接把它们变成精确正态置信区间。
20.3.3 HC协方差与残差的有限样本偏差
若误差不相关但方差未知，令第 \(i\) 个设计行为 \(x_i^\mathsf T\)，\(\operatorname{Var}(\varepsilon_i)=\sigma_i^2\)。OLS的真实协方差是夹心形式：
HC意为异方差一致：它描述在合适渐近条件下的性质。令 \(H=X(X^\mathsf TX)^{-1}X^\mathsf T\)、\(M=I_n-H\)。因为 \(e=M\varepsilon\)，
所以残差平方不是每个真实方差的无偏估计；一般异方差下偏差的方向依赖设计和方差分布。常见修正仍使用式(20.3-4)，但把 \(e_i^2\) 分别替换为
HC1要求 \(n>p\)，HC2与HC3还要求全部 \(h_{ii}<1\)。HC2在同方差下给出无偏的系数协方差估计，因为每个修正平方的期望为 \(\sigma^2\)；一般异方差下无此保证。HC1的自由度倍率也不普遍消除偏差，HC3通常并非无偏。若 \(h_{ii}=1\)，该残差恒为零，数据没有留下可用来估计该点误差方差的残差信息。
固定设计含截距和二元组别：组0有6个观测，误差方差1；组1有2个观测，误差方差9。两组内均值模型正确，所有误差不相关。OLS斜率为 \(\bar Y_1-\bar Y_0\)，真实方差为 \(1/6+9/2=14/3\)。合并残差方差的期望为 \(\{5\times1+1\times9\}/6=7/3\)，所以常规斜率方差估计的期望为 \((7/3)(1/6+1/2)=14/9\)，只有真实值的三分之一。
组内杠杆值分别是 \(1/6\) 和 \(1/2\)。HC0斜率方差等于两组残差平方和分别除以组样本量的平方。因此HC0的期望为 \(5/36+9/4=43/18\)，HC1为 \((8/6)(43/18)=86/27\)，HC2为 \(14/3\)，HC3为 \(1/5+9=46/5\)。这里HC2无偏，是由于每组内部方差相同这一特殊设计。
取组0数据 \((4,5,5,6,6,6)\)、组1数据 \((8,12)\)，均值差为 \(14/3\)，两组残差平方和为 \(10/3\) 与8。常规方差估计为 \(34/27\)，HC0为 \(113/54\)，HC2为 \(37/9\)；对应标准误约为 \(1.1222\)、\(1.4466\)、\(2.0276\)。它们是此次数据的估计值，与前段的抽样期望要区分。改变协方差估计方法，并未改变OLS系数。
20.3.4 固定维数下的渐近保证
考虑 \(n\to\infty\) 的固定设计序列，\(p\) 固定，各行 \(\|x_{ni}\|\le K\)。每一行样本的误差相互独立，均值为零，且 \(\sup_{n,i}E|\varepsilon_{ni}|^4<\infty\)。设
则 \(\sqrt n(\widehat\beta-\beta)\Rightarrow N_p(0,Q^{-1}BQ^{-1})\)，且 \(n\widehat V_{\rm HC0}\xrightarrow{P}Q^{-1}BQ^{-1}\)。HC1、HC2与HC3具有相同极限。对 \(a^\mathsf TQ^{-1}BQ^{-1}a>0\) 的固定方向，使用这些标准误的学生化统计量渐近标准正态。
完整证明。精确等式为 \(\sqrt n(\widehat\beta-\beta)=Q_n^{-1}n^{-1/2}\sum_i x_{ni}\varepsilon_{ni}\)。任一固定线性组合的Lindeberg尾二阶矩，借助统一四阶矩与有界设计，至多为常数乘 \(1/n\)，故三角阵中心极限定理及Cramér–Wold方法给出该向量的正态极限。若某方向极限方差为零，直接由二阶矩趋零得到退化极限。特别地，\(\delta_n=\widehat\beta-\beta=O_P(n^{-1/2})\)。
令 \(\widetilde B_n=n^{-1}\sum_i x_{ni}x_{ni}^\mathsf T\varepsilon_{ni}^2\)。其每个元素的方差为 \(O(1/n)\)，因为独立性消除跨观测协方差，统一四阶矩控制余下求和；故 \(\widetilde B_n-B_n\xrightarrow{P}0\)。又 \(e_{ni}=\varepsilon_{ni}-x_{ni}^\mathsf T\delta_n\)，由Cauchy–Schwarz，
第一括号平方为 \(O_P(1)\)，有界设计使上式同时控制每个加权矩阵元素。因此 \(\widehat B_n=n^{-1}\sum_i x_{ni}x_{ni}^\mathsf Te_{ni}^2\xrightarrow{P}B\)，而 \(n\widehat V_{\rm HC0}=Q_n^{-1}\widehat B_nQ_n^{-1}\)。最后，\(\max_i h_{nii}\le K^2\|Q_n^{-1}\|/n\to0\)，且 \(n/(n-p)\to1\)，各HC修正倍率一致趋于1，极限不变。Slutsky定理给出正方差方向的学生化结论。∎
这些是充分条件，允许非同分布误差，但排除了单点高杠杆、维数随样本量快速增长和无限方差等情形。较弱条件也能建立理论，须另给设计与尾部控制。有限样本的HC区间通常只是近似区间，并不因名称含“稳健”而具有精确 \(t\) 分布。
20.3.5 聚类与序列相关需要保留交叉项
把观测划为 \(G\) 个独立簇，第 \(g\) 簇的设计为 \(X_g\)，误差向量为 \(\varepsilon_g\)。簇内协方差可任意；均值条件仍须成立。独立簇使真实夹心中间矩阵为 \(\sum_gX_g^\mathsf T\Omega_gX_g\)。用簇残差向量 \(e_g\) 替换，得到未作小样本修正的聚类协方差：
簇得分外积保留了同簇不同观测的交叉项，逐点HC则遗漏这些项。一个明确的渐近充分情形是：\(G\to\infty\)、簇大小统一有界、设计行有界、各簇独立且误差分量四阶矩统一有界，同时 \(G^{-1}X^\mathsf TX\) 趋于正定矩阵、\(G^{-1}\sum_g\operatorname{Var}(X_g^\mathsf T\varepsilon_g)\) 有有限极限。把上一证明的独立单元换成整个簇，就得到 \(\sqrt G\) 正态极限和聚类协方差一致性。簇大小不受界时需要簇层面的Lindeberg条件及方差估计控制，不能只检查总观测数。
设 \(G\) 个独立簇，每簇 \(m\) 个观测，\(Y_{gj}=\mu+A_g+B_{gj}\)。全部 \(A_g\) 与 \(B_{gj}\) 相互独立、均值零，方差分别为 \(\tau^2\) 与 \(v^2\)。单点方差 \(\sigma^2=\tau^2+v^2\)，同簇相关系数 \(\rho=\tau^2/\sigma^2\)。展开均值中各独立成分，精确得到
取 \(G=20,m=10,\sigma^2=1,\rho=0.3\)，真实方差为 \(37/2000\)，标准差约 \(0.1360\)；忽略相关、即使已知单点方差，算出的标准差仅 \(1/\sqrt{200}\approx0.0707\)。设计效应为3.7，按方差等效的独立样本量为 \(200/3.7\approx54.05\)，而非200。
平衡簇的整体均值等于簇均值的平均，故用簇均值样本方差除以 \(G\) 是无偏的方差估计，等于 \(G/(G-1)\) 倍CR0。若四个簇均值为 \((1,2,4,5)\)，整体均值为3，修正方差为 \(10/(3\times4)=5/6\)，未修正CR0为 \(10/16=5/8\)。无偏并不等于正态近似可靠：若 \(G\) 固定而 \(m\to\infty\)，\(\bar Y-\mu\) 趋近有限个 \(A_g\) 的平均，其方差不会消失。取非正态 \(A_g\)，极限通常也不是正态。
时间序列误差相关时，中间矩阵还包含跨时间协方差。HAC协方差估计按滞后加权累加得分的交叉积，须给出平稳性、弱依赖、矩及带宽条件；本节不把逐点HC或任意分簇当作它的替代。少数簇时，使用修正倍率或 \(t_{G-1}\) 临界值也不自动提供精确覆盖，仍须更具体的设计与推断依据。
20.3.6 习题与解答
习题20.3-1 · 两个相关测量的GLS
仅含共同均值，误差协方差为 \(\Omega=\left(\begin{smallmatrix}1&1/2\\1/2&4\end{smallmatrix}\right)\)，观察到 \(Y=(2,8)^\mathsf T\)。求GLS权重、估计值和真实方差，与OLS比较。
行列式为 \(15/4>0\)，故正定。逆矩阵为 \((4/15)\left(\begin{smallmatrix}4&-1/2\\-1/2&1\end{smallmatrix}\right)\)，乘常数向量并归一化，得到权重 \((7/8,1/8)\)。因此GLS估计值为 \(11/4\)，总精度为 \(16/15\)，方差为 \(15/16\)。OLS给出5，方差为 \((1+4+2\times1/2)/4=3/2\)。两种估计均无偏，但GLS方差更小；相关时不能只按两个边际方差的倒数归一化。
习题20.3-2 · 证明HC2的同方差无偏性
固定设计满列秩，\(h_{ii}<1\)，误差零均值且协方差为 \(\sigma^2I_n\)。证明 \(E\widehat V_{\rm HC2}=\sigma^2(X^\mathsf TX)^{-1}\)，指出推广到异方差时的障碍。
由投影矩阵幂等，\(\sum_jM_{ij}^2=M_{ii}=1-h_{ii}\)，故同方差下每个 \(e_i^2/(1-h_{ii})\) 的期望为 \(\sigma^2\)。把期望移入有限求和，中间矩阵变为 \(\sigma^2\sum_i x_ix_i^\mathsf T=\sigma^2X^\mathsf TX\)，左右逆矩阵即给出目标。异方差下分子期望为 \(\sum_jM_{ij}^2\sigma_j^2\)，不能把各方差提出求和，除以 \(1-h_{ii}\) 一般也不会还原 \(\sigma_i^2\)。证明只要求误差不相关，不要求独立或正态。
习题20.3-3 · 高杠杆为何使HC失效
采用截距与组别指示列的组均值模型中，某个组仅有一个观测，设计包含该组的独立指示列。说明该点的残差和杠杆值，以及增加其他组样本量能否恢复这个组方差的估计。
该组只有一个自由响应值，而它对应的设计指示列恰能单独拟合这个值，因此该点的拟合值等于自身，杠杆值为1、残差为零。HC0把这个点的方差贡献估为零，HC2与HC3出现零分母。增加其他组观测不改变此点完全拟合的结构，也不会提供该组内部的重复信息。要估计其误差方差，需增加该组独立观测或引入可信的共同方差结构；总样本量增长不能替代低杠杆条件。
习题20.3-4 · 固定簇数下的一致性反例
在算例20.3-3中固定 \(G=2\)，令每簇 \(m\to\infty\)。取 \(A_g\) 独立且等概率为 \(\pm1\)，\(B_{gj}\) 独立同分布、均值零且方差1，与所有 \(A_g\) 独立。求整体均值的极限，说明能否按总样本量引用正态近似。
每个簇的独立个体误差平均由大数定律趋于零，所以 \(\bar Y-\mu\to(A_1+A_2)/2\) 几乎必然。极限以概率 \(1/4,1/2,1/4\) 取 \(-1,0,1\)，不是常数零，也不是正态；因此整体均值不一致。其精确方差为 \(1/2+1/(2m)\)，趋于 \(1/2\)。总观测数 \(2m\) 虽然无限增长，独立的共同波动仍只有两个，聚类标准误的簇数增长前提未满足。
关键术语
- 异方差：在规定设计条件下，不同观测误差具有不同方差。
- 相关误差：误差协方差矩阵具有非零的非对角元素。
- 广义最小二乘：用已知误差协方差的逆矩阵加权平方误差的估计方法。
- 白化：通过线性变换使误差协方差成为单位阵，而不保证独立性。
- 夹心协方差：由设计或导数逆矩阵、得分协方差及其转置组成的协方差形式。
- 杠杆值：投影矩阵的对角元素，反映某个响应在其拟合值中的权重。
- 异方差稳健协方差：在明确的独立性、设计和矩条件下允许不同误差方差的协方差估计。
- 聚类标准误：以独立簇为抽样单元、保留簇内得分交叉项计算的标准误。
- 设计效应：指定依赖结构下的抽样方差与同规模独立样本方差的比值。
参考文献
- CMU，Lecture 24: Weighted and Generalized Least Squares，第3与第6节分别给出加权Gauss–Markov证明及一般协方差的GLS与白化。
- A. Colin Cameron、Douglas L. Miller，2015，A Practitioner’s Guide to Cluster-Robust Inference，第II节讨论簇协方差和共同波动，第VI节讨论有限簇修正及其局限，也说明HC2的同方差无偏性不普遍适用于异方差。
- Eugene Katsevich，STAT 9610 Lecture Notes，第13章，第13.2节区分异方差与相关误差，第13.4节说明设计杠杆与残差方差的关系。