主要先修：17.2 矩估计与最大似然估计、17.4 Fisher信息与Cramér–Rao界、19.1 随机阶与渐近展开、19.2 M估计、Z估计与夹心协方差。
沿19.1的余项与19.2的估计方程进入正则MLE理论。它为19.4的检验、20.4的GLM渐近推断和21.5的后验渐近近似提供工具。 查看全书依赖图与分支路线。
19.3.1 存在、识别与一致性是不同问题
设 \(X_1,\ldots,X_n\) iid来自正确模型 \(P_{\theta_0}\)，维数 \(d\) 固定，密度相对于同一基准测度定义。令单个观测对数似然为 \(\ell_\theta(x)=\log p_\theta(x)\)，总对数似然为 \(L_n(\theta)=\sum_i\ell_\theta(X_i)\)，经验平均为 \(M_n=L_n/n\)。MLE是选定的可测全局极大点；若只能取得上确界，则需另定义近似极大点，不能称其已达到最大值。
设搜索集 \(K\subset\mathbb R^d\) 紧，包含 \(\theta_0\)，对数似然期望 \(M(\theta)=E_{\theta_0}\ell_\theta\) 有限、连续且具有唯一极大点 \(\theta_0\)，并且 \(\sup_K|M_n-M|\xrightarrow{p}0\)。若选定的可测估计量满足 \(\hat\theta_n\in K\) 与 \(M_n(\hat\theta_n)\ge\sup_K M_n-o_p(1)\)，则 \(\hat\theta_n\to\theta_0\) 依概率。
这直接是19.2节 argmin 定理用于负对数似然。样本目标连续与紧性保证极大值存在；可测选择或可测近似选择仍是估计规则的一部分。若参数空间非紧，须另控制估计量不逃向无穷，并验证总体极值的分离。似然可识别并不单独完成这些步骤。
在共同正密度支持和相关积分有限时，总体最大点的识别由
给出。相对熵等号要求两分布相同，再由模型可识别性得到 \(\theta=\theta_0\)。例如对数似然在紧搜索集上有可积随机 Lipschitz 界及一个可积基准值，就可调用19.2节的有限网格 ULLN。只证明某个固定参数处的大数定律，不足以控制由同一数据选出的极大点。
19.3.2 得分、信息与局部正则条件
记得分 \(s_\theta=\nabla\ell_\theta\)、Hessian \(H_\theta=\nabla^2\ell_\theta\)。以下条件是便于检查的一组充分条件，较一般的理论可以用二次均值可微等条件替代：
- 真值 \(\theta_0\) 是参数空间内点，已有一致的可测估计量；在邻域内支持固定且密度为正。
- 在该邻域，对数密度三次连续可微；密度的前两阶导数允许在归一化积分内求导。由17.4节的信息恒等式，\(E s_{\theta_0}=0\)、\(E H_{\theta_0}=-I\)，其中 \(I=E[s_{\theta_0}s_{\theta_0}^{\mathsf T}]\)。
- \(I\) 有限且正定，\(E\|H_{\theta_0}\|<\infty\)。以真值为中心且具有正半径的固定闭球 \(K_0\) 位于上述邻域内，且存在可积 \(G(X)\)，使三阶导数的三线性算子范数满足 \(\sup_{K_0}\|D^3\ell_\theta(X)\|\le G(X)\)。
全部期望此处均按 \(P_{\theta_0}\) 计算，矩阵用算子范数。第三条给出 Hessian 的随机 Lipschitz 界，因此有限网格方法使其在 \(K_0\) 上统一收敛到连续的 \(J(\theta)=E H_\theta\)。第二条的积分换序还须独立验证；仅有对数似然的局部光滑性不能自动保证它。
确为内点的可微极大点具有零得分。一致性与内部真值使这个条件以趋于1的概率成立。对近似数值解，还需要得分残差 \(n^{-1}\nabla L_n(\hat\theta_n)=o_p(n^{-1/2})\) 才能使用下一结论；只知道目标值误差为 \(o_p(1)\) 不足以保证这个精度。
19.3.3 最大似然的渐近线性证明
在上述一致性、得分残差和局部正则条件下，
在连接真值和估计值的线段上，取平均 Hessian 的积分
一致性使线段以趋于1的概率位于局部球内。统一 Hessian 收敛与其总体连续性给出 \(\bar H_n\xrightarrow{p}-I\)，于是逆矩阵趋于 \(-I^{-1}\)。逐分量微积分展开得分，得到
后一个余项来自规定的得分残差和逆矩阵的 \(O_p(1)\) 控制。得分均值为零、协方差为 \(I\)，iid向量 CLT 使标准化得分和收敛到 \(N_d(0,I)\)，并且为 \(O_p(1)\)。再用 Slutsky 定理替换逆 Hessian，就得到式(19.3-2)。协方差为 \(I^{-1}I I^{-1}=I^{-1}\)。证明既得到 \(n^{-1/2}\) 速率，也识别了影响函数 \(I^{-1}s_{\theta_0}\)。
这里的信息是单个观测的信息；样本信息为 \(nI\)，所以估计量通常使用 \(I^{-1}/n\) 的渐近协方差近似。若模型失配，得分协方差与负期望 Hessian 通常不同，须保留19.2节的夹心矩阵，不直接用信息逆矩阵。
19.3.4 局部似然的二次展开与 LAN
考察局部参数 \(\theta_0+h/\sqrt n\)，其中 \(h\in\mathbb R^d\) 固定。若在 \(P_{\theta_0}^n\) 下，对数似然比可以写成
则称这一 iid实验在真值处局部渐近正态（LAN）。它描述邻近参数模型的似然比较，不是对任意估计量抽样分布的陈述。
取 \(\Delta_n=n^{-1/2}\sum_i s_{\theta_0}(X_i)\)。每个对数密度沿方向 \(h/\sqrt n\) 作二阶 Taylor 展开，再求和，线性项为 \(h^{\mathsf T}\Delta_n\)，二次项为 \(\tfrac12h^{\mathsf T}(P_nH_{\theta_0})h\)。三阶余项满足
大数定律使 \(P_nH_{\theta_0}\to-I\)，得分 CLT 给出 \(\Delta_n\) 的极限。因而式(19.3-5)成立；这些界还使总余项在每个固定有界 \(h\) 集合上一致为 \(o_p(1)\)。没有这个样本求和后的余项控制，单个观测的形式 Taylor 式不足以证明 LAN。
标量情形中，局部二次式的极大点是 \(h=\Delta_n/I\)，与 MLE 渐近线性一致。LAN可用于局部正则估计量的卷积下界与局部渐近极小极大理论，但还需规定比较类和损失；本节证明似然展开，不把它直接当成所有估计量的效率结论。更弱的二次均值可微到 LAN 的一般定理见文献[3]。
19.3.5 伯努利与指数模型的完整核对
设 \(X_i\) iid伯努利，真概率 \(p_0\in(0,1)\)。在闭参数空间 \([0,1]\) 上，MLE为 \(\hat p=T/n\)，\(T=\sum_iX_i\)。若只允许开区间 \((0,1)\)，全零或全一时只有上确界、没有达到最大值的参数；在闭区间上则是样本边界估计。该事件概率为 \((1-p_0)^n+p_0^n\to0\)，所以内部真值下仍可在趋于1的事件上使用得分方程。
均值大数定律直接给出一致性。真值附近远离0、1，三阶导数有确定有限上界，且两点样本空间允许归一化和求导交换。因此
本例线性表示其实精确：\(I^{-1}s_{p_0}(X)=X-p_0\)，不需要估计误差余项。\(n=100,p_0=0.3\) 时，真实标准误为 \(\sqrt{0.21/100}\approx0.04582576\)；若观察37次成功，插值标准误为 \(\sqrt{0.37\cdot0.63/100}\approx0.04828043\)。方差公式是精确的，正态尾概率仍是渐近近似。在真值 \(p_0=0\) 或1时分布退化，本节的内部正则结论不适用。
设 \(X_i\) iid指数分布，率 \(\lambda_0>0\)，密度 \(\lambda e^{-\lambda x}\)（\(x>0\)）。令 \(W=\sum_iX_i\)，则 \(W>0\) 几乎必然，\(L_n=n\log\lambda-\lambda W\) 严格凹，唯一内点 MLE为 \(\hat\lambda=n/W\)。样本均值趋于 \(1/\lambda_0\)，所以估计一致。
正参数邻域内，三阶导数 \(2/\lambda^3\) 有确定上界，得分二阶矩有限，正则条件全部成立。影响函数为 \(\lambda_0-\lambda_0^2X\)。但渐近正态性并不使有限样本估计无偏：由 \(W\sim\operatorname{Gamma}(n,\lambda_0)\) 的逆矩积分，
在 \(n=1\) 时期望发散，在 \(n=2\) 时二阶矩发散。\(n=10,\lambda_0=2\) 时均值为 \(20/9\)，方差为 \(50/81\approx0.61728395\)，而渐近方差近似为0.4。若该样本总时间为4.8，则率估计值为 \(25/12\approx2.083333\)。小样本的精确区间可使用18.4节的 Gamma 枢轴。
19.3.6 支持变化与效率比较的边界
设 \(X_i\) iid服从 \(U(0,\theta)\)，\(\theta>0\)，取包含上端点的密度版本。MLE为最大值 \(M_n\)，对数似然在 \(\theta\ge M_n\) 为 \(-n\log\theta\)，较小端点处为负无穷。极大点位于数据限定的支持边界，不能解普通零得分方程。
对 \(0\le t\le n\)，精确尾概率为
因此 \(n(1-M_n/\theta)\Rightarrow\operatorname{Exp}(1)\)，其中参数1为率；估计误差是 \(n^{-1}\) 阶，具有单侧非正态极限。直接在支持内求得的得分 \(-1/\theta\) 期望不为零，说明不能忽略移动边界来使用信息恒等式。支持变化的模型不满足本节固定支持正则条件。
LAN模型中也不能把任意估计量都看作正则估计量。例如已知方差1的正态位置模型，令 \(T_n=\bar X_n\mathbf1_{\{|\bar X_n|>n^{-1/4}\}}\)。在固定真值0处，\(\sqrt nT_n\to0\) 依概率，似乎比信息逆方差1更小；但在局部真值 \(\theta_n=h/\sqrt n\) 下，\(T_n=0\) 的概率仍趋于1，故 \(\sqrt n(T_n-\theta_n)\to-h\)。中心化极限随 \(h\) 改变，破坏局部正则性。这类 Hodges 规则说明，点上的超有效不能替代对局部参数族的统一效率比较。
习题与解答
习题19.3-1 指数逆矩（证明）
用 \(W\sim\operatorname{Gamma}(n,\lambda)\) 的形状／率密度推导 \(E(W^{-r})\) 的存在条件，并核对指数率 MLE 的均值公式。
积分为 \(\lambda^n\Gamma(n)^{-1}\int_0^\infty w^{n-r-1}e^{-\lambda w}dw\)。零点附近可积当且仅当 \(n>r\)，此时 Gamma 积分给出 \(E W^{-r}=\lambda^r\Gamma(n-r)/\Gamma(n)\)。取 \(r=1\) 后乘以 \(n\)，得到 \(E\hat\lambda=n\lambda/(n-1)\)。\(n=1\) 不满足零点可积条件，因此不能给 MLE 赋予有限期望，也不能在该样本量套有限方差比较。
习题19.3-2 伯努利信息与样本量（计算）
真概率0.2，样本量400。计算单个观测信息、样本信息与 MLE 标准误，并判断400次全零样本在开参数空间上是否有 MLE。
单个观测信息为 \(1/(0.2\cdot0.8)=6.25\)，样本信息为2500，标准误为 \(1/\sqrt{2500}=0.02\)，也等于精确样本比例标准差。若全部为零，似然为 \((1-p)^{400}\)，在 \(p\in(0,1)\) 上不断随着 \(p\downarrow0\) 增大，上确界没有达到；闭参数空间上 MLE才是0。这个样本事件虽在内部真值下很罕见，仍须区分有限样本存在性与渐近内部概率趋1。
习题19.3-3 LAN 的二次项与余项（计算、条件）
伯努利 \(p_0=0.3\)，指定样本 \(n=400,T=124\)，取 \(h=0.2\)。计算 LAN 二次式，并说明若 \(h\) 随 \(n\) 无界增加，能否直接沿用固定有界集合的余项保证。
中心得分 \(\Delta_n=(124-120)/(20\cdot0.21)=20/21\)，信息为 \(100/21\)。二次式为 \((0.2)(20/21)-(0.2)^2(100/21)/2=2/21\approx0.09523810\)，对应局部概率0.31。三阶上界含 \(\|h\|^3/\sqrt n\)，因此若 \(h=h_n\) 无界增长，该项不自动趋零；还要检查局部参数留在邻域、余项的增长及更强的一致控制。固定 \(h\) 的 LAN 不是任意远参数的全局似然近似。
习题19.3-4 均匀端点误差（计算、辨析）
对 \(U(0,\theta)\) 样本量20，求 \(P(M_{20}\ge0.9\theta)\)，并比较式(19.3-11)在 \(t=2\) 的精确尾与指数极限尾。
最大值分布给出 \(P(M_{20}\ge0.9\theta)=1-0.9^{20}\approx0.87842335\)。标准化误差大于2正好对应最大值小于0.9倍端点，其精确尾为 \(0.9^{20}\approx0.12157665\)，指数极限尾为 \(e^{-2}\approx0.13533528\)。二者接近但并不相等，精确概率已经可由模型直接计算。标准化误差非负且用样本量20缩放，不能把它套成常规双侧正态误差。
关键术语
- 全局最大似然估计：达到整个指定搜索集似然最大值的可测估计规则。
- 内部真值：在参数空间中具有开邻域的真实参数值。
- 得分：单个观测对数密度对参数的一阶导数向量。
- Hessian：对数密度对参数的二阶偏导数矩阵。
- Fisher信息：正则正确模型下得分的二阶矩，也是负期望 Hessian。
- 渐近线性：标准化估计误差等于影响函数的标准化和加可忽略余项。
- LAN：局部参数扰动下对数似然比具有高斯线性项和信息二次项的性质。
- 局部正则性：估计量的中心化极限在局部参数扰动下保持相容的性质。
- 非正则模型：不满足所用正则极限定理条件、需要另行分析的模型。
参考文献
- Sivaraman Balakrishnan，CMU 36-700，Lecture 12: MLE Asymptotics，2016。总体似然、MLE一致性、得分与渐近正态的基本证明路线；本节补明统一收敛和局部余项假设。
- John Duchi 等，Stanford STATS 300B，Lecture 3，讲义标注2018。向量积分 Taylor 展开、似然渐近线性及信息。
- John Duchi，Stanford STATS 300B，Lecture 19，讲义标注2018。局部渐近正态性及二次均值可微的更一般框架；本节只展开可积三阶导数下的证明。