主要先修：17.2 矩估计与最大似然估计、17.5 稳健估计与估计方程、19.1 随机阶与渐近展开。
在估计构造之后证明一致性与估计方程展开，再以夹心协方差评价波动。这里的OLS例直接推导所需矩阵公式，可先于20.1作为例子阅读；20.1随后建立完整回归结构。 查看全书依赖图与分支路线。
19.2.1 经验目标与估计方程
本节设观测 \(W_1,\ldots,W_n\) 独立同分布于真实分布 \(P\)，参数维数 \(d\) 固定。用 \(Pf=E_Pf(W)\)、\(P_nf=n^{-1}\sum_if(W_i)\) 记总体与经验平均。真实分布未必属于拟合的参数模型。选定损失 \(m(w,\theta)\) 后，M估计最小化 \(M_n(\theta)=P_nm_\theta\)，总体目标为 \(M(\theta)=Pm_\theta\)。负对数似然、平方损失和稳健位置损失都是例子。
M估计允许可测的近似极小点：\(M_n(\hat\theta_n)\le\inf_\Theta M_n+r_n\)，其中 \(r_n\ge0\)、\(r_n=o_p(1)\)。Z估计则寻找向量估计方程 \(\Psi_n(\theta)=P_n\psi_\theta\) 的近似零点，其中 \(\psi_\theta\in\mathbb R^d\)。若损失可微且极小点在参数空间内部，导数方程可能给出Z估计；一般估计方程不一定来自目标函数，解方程也不自动意味着求得全局极小点。
记唯一总体极小点为 \(\theta_*\)。拟合模型失配时，它通常称为伪真值，表示选定准则对真实分布的最佳拟合目标，未必是某个真实模型参数。对负对数似然，若真实分布和拟合分布具有共同基准下的密度，且有关积分有限，则相对熵与负对数似然期望只差真实熵这个与参数无关的常数。因此极小化 \(-P\log p_\theta\) 等价于极小化 \(D(P\Vert P_\theta)\)。准则的一致性首先是对这个目标的一致性。
19.2.2 有限网格给出的统一大数定律
设 \(\Theta\subset\mathbb R^d\) 紧，\(m\) 联合可测。存在一个共同的 \(P\)-零集之外，对所有 \(\theta,\eta\in\Theta\) 都有
其中 \(L\ge0\)、\(\theta_0\in\Theta\)。则 \(\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\to0\) 几乎必然，尤其依概率趋零。
紧性保证对每个 \(\delta>0\) 可选有限网格 \(\theta_1,\ldots,\theta_N\)，使每个参数距某网格点不超过 \(\delta\)。式(19.2-1)与有限直径保证全部目标函数可积，并给出
对固定网格，有限个普通大数定律使第一项趋零，且 \(P_nL\to PL\) 几乎必然。只取 \(\delta=1/k\) 的可数列并合并所有有限网格，可以同时排除一个零概率事件。于是每个 \(k\) 上，上极限不超过 \(2PL/k\)；令 \(k\to\infty\) 得结论。参数连续性使上确界可由可数稠密集计算，因此它可测。
这是一条可检验的充分条件，并非所有损失都要满足它。经验分布函数的 Glivenko–Cantelli 定理针对半直线指示函数类；它不能直接保证任意损失函数类的 ULLN。19.6节与19.7节分别讨论CDF指标类的一致收敛与函数型极限。更一般函数类的包络、覆盖与括号条件，参见文献[3]。
19.2.3 分离极小点与 argmin 一致性
设 \(\Theta\) 紧，\(M\) 连续且有唯一极小点 \(\theta_*\)，\(\sup_\Theta|M_n-M|\xrightarrow{p}0\)。选定在 \(\Theta\) 中取值的可测近似极小点 \(\hat\theta_n\)，其优化误差 \(r_n=o_p(1)\)。则 \(\hat\theta_n\xrightarrow{p}\theta_*\)。
对任何 \(\varepsilon>0\)，紧性、连续性及唯一性给出正的分离间隙
若该集合为空，则所需误差事件也为空。另一方面，近似最小化给出
参数误差至少为 \(\varepsilon\) 时左侧必至少为 \(c_\varepsilon\)，故此事件概率趋零。这证明的是选定的可测近似极小点序列；存在一个极小值本身不等于已经定义了可测估计规则。
非紧参数空间也可建立一致性，但需替代的分离条件以及估计量不逃向无穷的控制。只有“唯一极小点”而没有远离该点的目标间隙，不足以排除远处近似极小点。数值算法停在任意局部极小点，也未必满足式(19.2-4)所需的全局近似最小化条件。
19.2.4 Z估计的局部展开与夹心协方差
现在假设 \(\theta_*\) 是参数空间内点，\(\Psi(\theta)=P\psi_\theta\)，且 \(\Psi(\theta_*)=0\)。以下是可微方程的一组较强、便于验证的条件，不覆盖分位数等不可微情形。
设 \(\hat\theta_n\xrightarrow{p}\theta_*\)、\(\Psi_n(\hat\theta_n)=o_p(n^{-1/2})\)，且 \(P\|\psi_{\theta_*}\|^2<\infty\)。存在包含 \(\theta_*\) 的固定开球，使 \(\Psi_n\) 在其上连续可微，并且在一个较小闭球 \(K\) 上
矩阵使用算子范数。则
一致性使连接 \(\theta_*\) 和 \(\hat\theta_n\) 的线段以趋于1的概率落在 \(K\) 内。逐分量应用微积分基本定理，定义沿线段积分的随机 Jacobian：
统一导数收敛及 \(J\) 在目标点连续给出 \(A_n\to A\) 依概率，故其以趋于1的概率可逆，逆矩阵趋于 \(A^{-1}\)。乘以 \(\sqrt n\) 后精确解出参数误差：
第一项为 \(o_p(1)\)。第二项中，iid向量中心极限定理使 \(\sqrt n\Psi_n(\theta_*)\) 收敛到协方差为 \(B\) 的高斯向量，也因此为 \(O_p(1)\)。使用19.1节的随机阶运算与 Slutsky 定理替换逆矩阵，即得渐近线性和夹心形式。这里没有预先假设参数误差是 \(n^{-1/2}\) 阶，速率由方程和可逆性推出。
积分形式避免了多元均值定理中未必存在同一个中间点的问题。式(19.2-5)可通过导数函数类的 ULLN，以及合法的微分与期望换序得到；只检查一个固定参数的导数收敛不能自动控制随机估计点。影响函数为 \(\operatorname{IF}(w)=-A^{-1}\psi(w,\theta_*)\)，它在真实分布下均值为零、协方差为 \(V\)。夹心矩阵 \(V\) 是 \(\sqrt n\) 误差的极限协方差，估计量自身通常使用 \(V/n\) 的渐近协方差近似。
19.2.5 随机设计 OLS 的完整计算
观测对 \((Z_i,Y_i)\) iid，\(Z_i\in\mathbb R^d\)，维数固定。假设 \(EY^2<\infty\)、\(E\|Z\|^2<\infty\)，\(Q=EZZ^{\mathsf T}\) 正定。平方损失 \(m=\tfrac12(Y-Z^{\mathsf T}\beta)^2\) 的唯一总体极小点为 \(\beta_*=Q^{-1}E(ZY)\)。令 \(e=Y-Z^{\mathsf T}\beta_*\)，则 \(EZe=0\)，无论真实条件均值是否线性，此目标都给出最佳线性平方损失投影。
经验矩阵 \(Q_n=P_nZZ^{\mathsf T}\to Q\)，向量 \(P_nZY\to E(ZY)\)，故 \(\hat\beta=Q_n^{-1}P_nZY\to\beta_*\)。矩阵不可逆的事件概率趋零，可在其上固定补定义。若限制紧参数集且目标在内点，也可用前两条定理；其随机 Lipschitz 界为 \(\|Z\|(|Y|+R\|Z\|)\)，其中 \(R\) 控制参数范数。
取 \(\psi=Z(Y-Z^{\mathsf T}\beta)\)，导数为 \(-ZZ^{\mathsf T}\)，所以 \(A=-Q\)。进一步假设 \(E\|Z\|^2e^2<\infty\)，则
明确算例：\(Z=(1,D)^{\mathsf T}\)、\(P(D=1)=1/4\)，\(Y=\beta_0+\beta_1D+e\)，且 \(e\mid D\) 正态、均值零，条件方差在 \(D=0,1\) 时分别为1、9。所有所需矩均有限。直接按两组加权求期望，得到
若误用共同残差方差 \(Ee^2=3\)，协方差会写成 \(3Q^{-1}/n\)，其斜率方差为 \(16/n\)，而正确渐近方差为 \((112/3)/n\)。\(n=100\) 时，相应标准误近似分别为0.4与0.61101009。这里是按渐近矩阵比较标准误，不声称随机组人数下的有限样本精确方差；实际回归推断见第20章。
19.2.6 模型失配与协方差估计
真实计数为 \(P(X=k)=\tfrac13(\tfrac23)^k\)，\(k=0,1,\ldots\)，即从零开始计数的几何分布，均值2、方差6。工作模型取 \(\operatorname{Pois}(\lambda)\)，在固定紧集 \([1/2,4]\) 内拟合。负对数似然期望中，与参数相关的部分是 \(M(\lambda)=\lambda-2\log\lambda\)，唯一极小点为 \(\lambda_*=2\)，并且内点导数为零。
经验极小点是样本均值投影到该紧集；大数定律使其以趋于1的概率等于 \(\bar X\)。对泊松得分 \(\psi=X/\lambda-1\)，目标点处
导数在目标的正参数邻域由 \(X\) 的样本均值统一控制，所有矩有限，所以前述条件均成立。直接样本均值 CLT 也给出 \(\sqrt n(\hat\lambda-2)\Rightarrow N(0,6)\)，独立核对夹心结果。若把工作模型当成真实泊松，则错误地使用 \(V=2\)，标准误低估为正确渐近标准误的 \(1/\sqrt3\)。
一般可微似然中，\(A=E_P D\psi_{\theta_*}\)、\(B=E_P\psi_{\theta_*}\psi_{\theta_*}^{\mathsf T}\) 都按真实 \(P\) 求期望。正确模型且满足固定支持、积分内求导等正则条件时，信息恒等式给出 \(-A=B=I\)，夹心简化为 \(I^{-1}\)。失配时这个等式通常不成立；改用夹心修正的是估计目标附近的抽样误差，不能把失配目标自动变成正确的科学参数。
实际可用 \(\hat A=P_nD\psi_{\hat\theta}\)、\(\hat B=P_n\psi_{\hat\theta}\psi_{\hat\theta}^{\mathsf T}\) 与 \(\hat V=\hat A^{-1}\hat B\hat A^{-\mathsf T}\)。其一致性需要对应导数和二阶乘积函数类的局部 ULLN，不能仅由点估计一致性推断。OLS中用拟合残差替代 \(e\) 时，充分的矩条件包括 \(E\|Z\|^4<\infty\)、\(E\|Z\|^2Y^2<\infty\) 及 \(EY^2<\infty\)；展开残差平方并用样本矩大数定律即可核对 \(\hat B\to B\)。相关观测还需要长期协方差或相应依赖理论，不能沿用本节 iid 的 \(B\)。
习题与解答
习题19.2-1 平方损失的一致收敛（证明）
设 \(EX^2<\infty\)，参数在 \([-R,R]\)，损失为 \(m(x,\theta)=(x-\theta)^2\)。给出随机 Lipschitz 界，并说明怎样应用 argmin 定理估计总体均值。
差值绝对值为 \(|\theta-\eta|\,|2x-\theta-\eta|\)，可取 \(L(x)=2|x|+2R\)，其期望有限；基准损失 \(m(x,0)=x^2\) 也可积。有限网格定理给出紧区间上的 ULLN。总体目标为 \(\operatorname{Var}X+(\theta-EX)^2\)，若均值位于区间内，则具有唯一分离极小点。任何可测全局近似极小点因此依概率趋于均值；区间外的均值则被投影到边界，估计目标已经改变。
习题19.2-2 方程的缩放（证明）
把估计方程左乘固定可逆矩阵 \(C\)，即用 \(\tilde\psi=C\psi\)。证明相同根的夹心协方差不变。
新导数为 \(\tilde A=CA\)，新随机变化矩阵为 \(\tilde B=CBC^{\mathsf T}\)。代入得 \((CA)^{-1}(CBC^{\mathsf T})(CA)^{-\mathsf T}=A^{-1}BA^{-\mathsf T}\)，因为两端的 \(C^{-1}\) 分别消去 \(C\) 与其转置。这里需要 \(C\) 固定且可逆；若用数据相关或奇异变换，必须重新检查方程、维数和导数条件。结果也说明对同一个方程任意改变计量单位不应改变参数的渐近协方差。
习题19.2-3 异方差斜率的标准误（计算）
在例19.2-1中取 \(n=400\)，计算斜率的夹心标准误与误用共同方差的标准误。由 \(n=100\) 增至400后，为何标准误减半？
夹心斜率渐近方差为 \((112/3)/400=7/75\)，标准误约0.30550505；共同方差公式给出 \(16/400=0.04\)，标准误0.2。每个标准误由 \(\sqrt{V_{22}/n}\) 计算，样本量增为四倍使分母平方根增为两倍，所以减半。这是固定总体矩与固定参数维数下的渐近计算，不能把误用的较小标准误解释为方法更有效。
习题19.2-4 奇异导数与非正态极限（反例）
设 \(X_i\) iid标准正态，方程为 \(\Psi_n(\theta)=\theta^3-\bar X_n=0\)，取实立方根解。判断一致性、目标点导数与收敛速率，说明为何不能用本节的夹心公式。
样本均值趋于0，连续实立方根使 \(\hat\theta_n\to0\)，所以解一致。但 \(\Psi'(0)=0\) 不可逆，局部方程不能线性解出参数误差。精确地，\(n^{1/6}\hat\theta_n=(\sqrt n\bar X_n)^{1/3}\)，其分布为标准正态变量的实立方根，是非正态极限。速率为 \(n^{-1/6}\)，而不是 \(n^{-1/2}\)。一致性与方程存在都没有补足可逆导数的假设。
关键术语
- M估计：通过经验准则的全局或近似极值定义的估计方法。
- Z估计：通过向量估计方程的零点或近似零点定义的估计方法。
- 统一大数定律：一个函数类中所有经验平均与总体平均的最大偏差趋零。
- 分离极值：远离目标点的参数具有正的总体目标间隙。
- 近似最小化：经验准则与全局最优值之间的差按规定随机阶趋零。
- 渐近线性：标准化估计误差可写成独立同分布影响函数值的标准化和加可忽略余项。
- Jacobian：向量方程对参数各坐标的偏导数矩阵。
- 夹心协方差：用逆导数把估计方程的随机变化转化为参数误差协方差。
- 伪真值：真实分布在所选拟合准则下的最优参数目标。
参考文献
- A. W. van der Vaart，Asymptotic Statistics，第5章：M- and Z-Estimators，Cambridge University Press，1998。M/Z估计、近似极值与近似零点的统一框架。
- John Duchi 等，Stanford STATS 300B，Lecture 3和Lecture 9，讲义标注2018。分别讨论向量积分 Taylor 展开、渐近正态性，以及 ULLN、有限覆盖与 argmin 分离条件。
- Sara van de Geer，Empirical Processes in M-Estimation，Cowles Workshop 讲义，2003，§3与§5。函数类大数定律、M估计目标及渐近线性；本节采用明确紧性和局部导数控制的可微版本。