19.4 Wald、得分与似然比推断 · 概率论基础教程

Wald检验比较估计量与原假设，得分检验考察原假设处的似然斜率，似然比检验比较两个最大似然值。三者在固定维正则模型的内部点具有相同的卡方极限。本节通过局部二次展开和正交投影证明这一联系，说明干扰参数的有效信息，并以伯努利小样本及正态边界模型辨明适用范围。

先修与阅读位置

主要先修：17.4 Fisher信息与Cramér–Rao界、18.1 检验、功效与p值、19.3 最大似然的渐近理论。

在局部似然与MLE极限建立之后，研究Wald、得分和似然比推断。完成主干后可返回18.5的拟合概率卡方证明，比较两种投影观点。查看全书依赖图与分支路线。

19.4.1 固定维内部点与局部展开的前提

设\(X_1,\ldots,X_n\)iid来自正确设定的模型\(f_\theta\)，参数维数\(d\)固定。真值\(\theta_0\)是参数空间的内部点，邻域内模型相对于共同支配测度有正密度及共同支持，允许相应的微分与积分交换。记总对数似然、总得分和单个观测的Fisher信息为

\[\ell_n(\theta)=\sum_{i=1}^n\log f_\theta(X_i),\qquad U_n(\theta)=\nabla\ell_n(\theta),\qquad I=E_{\theta_0}[s_{\theta_0}s_{\theta_0}^{\mathsf T}],\quad s_\theta=\nabla\log f_\theta(X).\]

(19.4-1)

这里\(E_{\theta_0}s_{\theta_0}=0\)，得分平方可积，\(I\)正定。为把最大似然渐近理论用于检验，本节明确采用下列技术前提。令\(\Delta_n=n^{-1/2}U_n(\theta_0)\)，要求\(\Delta_n\Rightarrow N_d(0,I)\)，并有

\[\begin{aligned}\ell_n(\theta_0+h/\sqrt n)-\ell_n(\theta_0)&=h^{\mathsf T}\Delta_n-\tfrac12h^{\mathsf T}Ih+r_n(h),\\n^{-1/2}U_n(\theta_0+h/\sqrt n)&=\Delta_n-Ih+a_n(h),\end{aligned}\]

(19.4-2)

且对每个固定\(M<\infty\)，

\[\sup_{\|h\|\le M}|r_n(h)|+\sup_{\|h\|\le M}\|a_n(h)\|=o_P(1).\]

(19.4-3)

此外，无约束及原假设约束下的MLE须以概率趋于1存在、定位于真值的\(n^{-1/2}\)邻域，即其标准化误差为\(O_P(1)\)，并满足相应内部方向的得分方程。概率均在\(P_{\theta_0}\)下计算。可积导数包络、局部Hessian的一致收敛等条件可以导出这些展开，相关MLE结论见19.3节和文献[1]。本节完整证明的是从这些展开与定位前提出发的检验结论；不能仅把“似然可微”当作全部条件。

式(19.4-3)的一致性允许把随机的\(O_P(1)\)估计误差代入展开：先用有界球包含估计误差，使超出球的概率任意小，再用球内的一致余项控制。得分展开也单独列出，不能直接对一个未控制导数的\(o_P(1)\)余项求导。

19.4.2 三种统计量与干扰参数的有效信息

先取局部坐标\(\theta=(\psi,\lambda)\)，其中待检验参数\(\psi\in\mathbb R^r\)，干扰参数\(\lambda\in\mathbb R^k\)，\(d=r+k\)。检验\(H_0:\psi=\psi_0\)。记无约束MLE为\(\widehat\theta\)，约束MLE为\(\widetilde\theta=(\psi_0,\widetilde\lambda)\)。将信息分块后，定义

\[I=\begin{pmatrix}I_{\psi\psi}&I_{\psi\lambda}\\I_{\lambda\psi}&I_{\lambda\lambda}\end{pmatrix},\qquad I_{\mathrm{eff}}=I_{\psi\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}I_{\lambda\psi}.\]

(19.4-4)

这个Schur补称为关于\(\psi\)的有效信息：允许调整干扰参数后，剩余的局部曲率。由正定性，它仍正定，而且\((I^{-1})_{\psi\psi}=I_{\mathrm{eff}}^{-1}\)。把\(I_{\psi\psi}\)直接当作信息，通常等于把未知干扰参数当成已知。无干扰参数时，省略这些分块即可。

定义19.4.1 Wald、得分与似然比统计量

令\(\widehat I_{\mathrm{eff}}\)、\(\widetilde I_{\mathrm{eff}}\)分别为在无约束、约束估计处计算且一致的有效信息估计。例如先用期望信息\(I(\widehat\theta)\)或一致的观测信息\(-n^{-1}\nabla^2\ell_n(\widehat\theta)\)估计整矩阵，再取Schur补。定义

\[W_n=n(\widehat\psi-\psi_0)^{\mathsf T}\widehat I_{\mathrm{eff}}(\widehat\psi-\psi_0),\qquad S_n=\frac1n U_{n,\psi}(\widetilde\theta)^{\mathsf T}\widetilde I_{\mathrm{eff}}^{-1}U_{n,\psi}(\widetilde\theta).\]

(19.4-5)

\[T_n=2\{\ell_n(\widehat\theta)-\ell_n(\widetilde\theta)\}.\]

(19.4-6)

\(W_n\)衡量参数估计偏离；\(S_n\)使用约束模型下的得分；\(T_n\)衡量解除约束后的最大似然改善。三者都在大值时拒绝。

在约束MLE处\(U_{n,\lambda}=0\)，所以有效得分\(U_{n,\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}U_{n,\lambda}\)恰等于式(19.4-5)所用的\(U_{n,\psi}\)。得分检验仍须估计干扰参数，不能概括为完全不需要MLE。信息必须保持“单个观测”的尺度；若使用总信息\(nI\)，公式中的\(n\)因子要相应调整。

19.4.3 Wilks定理的投影证明及三者等价

定理19.4.2 局部二次模型下的Wilks结论

在19.4.1的前提下，对上述\(r\)个独立坐标约束，原假设成立时有\(T_n\Rightarrow\chi_r^2\)，且\(W_n-T_n=o_P(1)\)、\(S_n-T_n=o_P(1)\)。自由度是被约束的局部维数，不是全模型的参数个数。

完整证明。令\(h=\sqrt n(\theta-\theta_0)\)，局部二次函数为\(q_n(h)=h^{\mathsf T}\Delta_n-h^{\mathsf T}Ih/2\)。得分展开及估计量的定位给出

\[\widehat h=I^{-1}\Delta_n+o_P(1),\qquad \widetilde h_\psi=0,\quad \widetilde h_\lambda=I_{\lambda\lambda}^{-1}\Delta_{n,\lambda}+o_P(1).\]

(19.4-7)

第一式来自全得分为零，第二式来自干扰参数方向的得分为零。由于\(\Delta_n=O_P(1)\)，这些估计误差使二次函数值只改变\(o_P(1)\)。式(19.4-3)也使两个最大似然值与对应二次函数值的差均为\(o_P(1)\)。

用信息标准化：令\(z_n=I^{-1/2}\Delta_n\)、\(u=I^{1/2}h\)，并配方：

\[q_n(h)=\tfrac12\|z_n\|^2-\tfrac12\|u-z_n\|^2.\]

(19.4-8)

原假设允许的局部方向是\(L=\{h:h_\psi=0\}\)，标准化后成为\(M=I^{1/2}L\)，维数为\(k\)。无约束二次最大值在\(u=z_n\)取得；约束最大值在欧氏正交投影\(u=P_Mz_n\)取得。故

\[T_n=\|(\operatorname{Id}_d-P_M)z_n\|^2+o_P(1)\ \Rightarrow\ \chi_r^2.\]

(19.4-9)

最后一步因\(z_n\Rightarrow N_d(0,\operatorname{Id}_d)\)，而\(\operatorname{Id}_d-P_M\)是秩\(d-k=r\)的正交投影。在它的正交基中，平方范数就是\(r\)个独立标准正态变量平方之和。

为核对Wald与得分，令\(\Delta_{n,\mathrm{eff}}=\Delta_{n,\psi}-I_{\psi\lambda}I_{\lambda\lambda}^{-1}\Delta_{n,\lambda}\)。分块解式(19.4-7)，以及在\(\widetilde h\)处代入得分展开，分别得

\[\widehat h_\psi=I_{\mathrm{eff}}^{-1}\Delta_{n,\mathrm{eff}}+o_P(1),\qquad n^{-1/2}U_{n,\psi}(\widetilde\theta)=\Delta_{n,\mathrm{eff}}+o_P(1).\]

(19.4-10)

在\(q_n\)中先对\(h_\lambda\)最大化，剩下的函数是常数加\(h_\psi^{\mathsf T}\Delta_{n,\mathrm{eff}}-h_\psi^{\mathsf T}I_{\mathrm{eff}}h_\psi/2\)。由此及信息估计的一致性，

\[W_n=S_n+o_P(1)=T_n+o_P(1)=\Delta_{n,\mathrm{eff}}^{\mathsf T}I_{\mathrm{eff}}^{-1}\Delta_{n,\mathrm{eff}}+o_P(1).\]

(19.4-11)

这里\(\Delta_{n,\mathrm{eff}}\)的极限协方差也是\(I_{\mathrm{eff}}\)，与投影结论一致。证毕。这是原假设下的一阶渐近等价，未声称统计量在有限样本中相等。

图19.4-1 局部二次模型的几何示意，标准化后再选取正交坐标，使\(M\)水平。图示向量不是样本数据；同一个秩\(r\)的残差投影决定Wilks自由度。

19.4.4 一般约束、重参数化与置信集合

若原假设写为\(g(\theta)=0\)，其中\(g:\mathbb R^d\to\mathbb R^r\)光滑、\(G_0=Dg(\theta_0)\)满行秩，则可选局部坐标把约束写成前面的\(\psi=\psi_0\)。这需要约束集合在真值附近是光滑流形，其余展开与定位条件在新坐标中仍成立。用整矩阵的一致估计\(\widehat I\to_PI\)，Wald形式为

\[W_{n,g}=n\,g(\widehat\theta)^{\mathsf T}\{\widehat G\widehat I^{-1}\widehat G^{\mathsf T}\}^{-1}g(\widehat\theta),\qquad \widehat G=Dg(\widehat\theta).\]

(19.4-12)

独立约束的秩决定自由度。重复写同一个约束不能增加自由度，退化导数也不能套用此式的卡方校准。LR对一一重参数化精确不变，因为最大化的分布集合未变；Wald将非线性映射线性化，有限样本数值可能随表达方式改变。

以\(\chi^2_{r,1-\alpha}\)表示卡方的\(1-\alpha\)分位数，反演LR检验得到关于\(\psi\)的剖面似然置信集合：

\[C_n=\left\{\psi:2\left[\ell_n(\widehat\theta)-\sup_\lambda\ell_n(\psi,\lambda)\right]\le\chi^2_{r,1-\alpha}\right\}.\]

(19.4-13)

对每个满足上述固定维内部条件的固定真值，它的覆盖趋于\(1-\alpha\)；\(r=1\)时可用于区间推断。这是重复抽样覆盖，且通常是渐近保证，并非已观察集合包含参数的后验概率。高维维数随样本量增长、信息奇异、混合模型原假设下不可识别、模型设定错误等情形，需要各自的极限理论，不能仅数参数差就选择卡方自由度。

19.4.5 伯努利小样本：相同极限仍有不同判断

例19.4.1 十次试验中的八次成功

设\(X_i\)iid伯努利\((p)\)，\(p\in[0,1]\)，检验\(p=p_0=1/2\)对双侧备择。观察\(n=10,S=8\)，故\(\widehat p=0.8\)。内部参数处单个观测信息为\(I(p)=1/[p(1-p)]\)，于是

\[W_n=\frac{n(\widehat p-p_0)^2}{\widehat p(1-\widehat p)}=5.625,\qquad S_n=\frac{n(\widehat p-p_0)^2}{p_0(1-p_0)}=3.6.\]

(19.4-14)

\[T_n=2n\left[\widehat p\log\frac{\widehat p}{p_0}+(1-\widehat p)\log\frac{1-\widehat p}{1-p_0}\right]=2[8\log1.6+2\log0.4]\approx3.854895.\]

(19.4-15)

比较校准。用渐近\(5\%\)门槛\(\chi^2_{1,0.95}\approx3.841459\)，参数\(p\)的Wald与LR拒绝，得分检验不拒绝。改用logit参数\(\eta=\log[p/(1-p)]\)，单个观测的信息为\(p(1-p)\)，因此

\[W_{n,\eta}=n\widehat p(1-\widehat p)(\widehat\eta-0)^2=1.6(\log4)^2\approx3.074899,\]

(19.4-16)

不拒绝同一个原假设，直接展示有限样本的Wald参数化敏感性。精确对称二项检验的两侧p值则为\(2P_{1/2}(S\ge8)=2(45+10+1)/1024=0.109375\)，在\(0.05\)下不拒绝。渐近门槛并非这里的精确有限样本水平：本模型中以该LR门槛拒绝的事件为\(S\le2\)或\(S\ge8\)，其真实概率就是\(0.109375\)。计算端点LR时，按\(0\log0=0\)连续延拓，统计量仍有限。精确方法见18.4节。若观察全失败或全成功，使用样本比例代入方差的Wald分母为零，不能按普通公式计算。

19.4.6 正态非负均值：边界的精确混合分布

例19.4.2 非负均值的边界检验

设\(X_i\)iid\(N(\mu,\sigma^2)\)，已知\(\sigma>0\)，模型限制\(\mu\ge0\)。检验\(H_0:\mu=0\)对\(\mu>0\)。全模型MLE为\(\widehat\mu=\max(\bar X,0)\)，直接相减两个正态对数似然得到

\[T_n=\frac n{\sigma^2}\{\max(\bar X,0)\}^2=\{\max(Z,0)\}^2,\qquad Z=\frac{\sqrt n\bar X}{\sigma}\sim N(0,1)\quad(H_0).\]

(19.4-17)

完整分布计算。\(Z\le0\)的概率为一半，此时\(T_n=0\)。对\(t>0\)，\(P(T_n\le t)=P(Z\le\sqrt t)=\Phi(\sqrt t)\)。由正态对称性，\(P(\chi_1^2\le t)=2\Phi(\sqrt t)-1\)，故

\[T_n\sim\tfrac12\chi_0^2+\tfrac12\chi_1^2,\qquad P(T_n>c)=1-\Phi(\sqrt c)=\tfrac12P(\chi_1^2>c),\quad c>0.\]

(19.4-18)

\(\chi_0^2\)指零点的点质量。这是每个样本量下的精确结论，不只是极限。目标\(\alpha=0.05\)时正确门槛为\(z_{0.95}^2\approx2.705543\)，若机械采用\(3.841459\)，实际第一类错误率仅\(0.025\)。取\(n=16,\sigma=2,\bar x=0.9\)，有\(Z=1.8,T_n=3.24\)，正确边界检验拒绝。若\(\bar x=-0.9\)，MLE投影到零且\(T_n=0\)，不拒绝。

图19.4-2 按例2的精确CDF与\(\chi_1^2\)CDF计算采样点并连线，零处的闭圆点表示CDF取值\(1/2\)，空圆点表示左极限零。竖直虚线在正确\(0.05\)门槛处。

边界把原先的线性局部空间改为半直线，所以正负得分产生不同的MLE行为。更一般的边界可能涉及锥投影及不同混合权重；干扰参数也在边界时甚至不能统一概括为卡方混合，见文献[3]。本例的等权混合分布不能直接推广到所有单个边界参数问题。

19.4.7 习题与完整解答

习题19.4-1 计算Schur补和有效得分

局部信息为\(I=\begin{pmatrix}4&1\\1&2\end{pmatrix}\)，第一坐标待检验，第二坐标为干扰参数。取\(\Delta=(2,1)^{\mathsf T}\)，计算有效信息、有效得分与三类统计量共有的二次近似。

\(I_{\mathrm{eff}}=4-1\cdot(1/2)\cdot1=7/2\)，\(\Delta_{\mathrm{eff}}=2-(1/2)1=3/2\)，故二次近似为\((3/2)^2/(7/2)=9/14\approx0.642857\)。无约束标准化估计的第一坐标为\(3/7\)；固定第一坐标为零时，第二坐标为\(1/2\)。直接把信息取成4相当于把第二参数当作已知；真实的第一坐标渐近方差是\((I^{-1})_{11}/n=2/(7n)\)，比\(1/(4n)\)大。

习题19.4-2 正态均值检验中的未知方差

iid\(N(\mu,v)\)模型中\(v>0\)未知，检验\(\mu=\mu_0\)。设\(Q=\sum(X_i-\bar X)^2>0\)，求三个统计量，并对观测\((1,2,3)\)、\(\mu_0=0\)计算。

单个观测的信息为\(\operatorname{diag}(1/v,1/(2v^2))\)，交叉块为零，故有效均值信息为\(1/v\)。令\(\delta=\bar X-\mu_0\)，无约束MLE为\(\widehat v=Q/n\)，约束MLE为\(\widetilde v=Q/n+\delta^2\)。代入得\(W_n=n\delta^2/\widehat v\)、\(S_n=n\delta^2/\widetilde v\)、\(T_n=n\log(\widetilde v/\widehat v)\)。本例\(n=3,Q=2,\delta=2\)，所以\(W_n=18\)、\(S_n=18/7\)、\(T_n=3\log7\approx5.837730\)。它们的一阶等价不意味着小样本相等；正态未知方差的精确均值检验应使用18.4节的t分布。

习题19.4-3 边界门槛不能按参数个数确定

在例2模型中，把目标错误率改为\(0.1\)。求正确门槛；若用\(\chi^2_{1,0.9}\)，实际错误率是多少？

因\(P(T_n>c)=1-\Phi(\sqrt c)\)，解为\(c=z_{0.9}^2\approx1.642374\)。若使用通常卡方门槛，则\(P(\chi_1^2>\chi^2_{1,0.9})=0.1\)，但混合分布的右尾为其一半，实际错误率为\(0.05\)。这是所有样本量下的差异，增加样本量也不会消除错误参照分布造成的偏差。

习题19.4-4 等价原假设也可能有退化的约束表达

设\(X_i\)iid\(N(\theta,1)\)，检验\(\theta=0\)。若把约束写为\(g(\theta)=\theta^2=0\)，能直接套一般Wald公式吗？计算形式代入的统计量并解释问题。

真值处\(Dg(0)=0\)，不满行秩，所以不满足19.4.4的条件。在\(\bar X\ne0\)时形式代入给\(n(\bar X^2)^2/(4\bar X^2)=n\bar X^2/4\)，其原假设分布是\(\chi_1^2/4\)，而不是\(\chi_1^2\)。正确写法\(g(\theta)=\theta\)给\(n\bar X^2\sim\chi_1^2\)，也等于本模型的LR。错误来自对退化约束作一阶线性化，并非原假设本身发生改变。

关键术语

得分：对数似然关于参数的一阶导数，总得分随样本数累加。
局部二次展开：在真值的平方根样本量尺度邻域中，用随机线性项和确定二次曲率逼近似然。
约束MLE：在原假设允许的参数集合内最大化似然的估计量。
有效信息：消除干扰参数调整方向后的信息曲率，以Schur补表示。
Wald检验：用估计量的偏离及其协方差校准检验。
得分检验：在约束模型估计处用有效得分构造二次统计量。
似然比检验：比较无约束和约束最大对数似然之差。
Wilks定理：正则内部模型下，似然比统计量趋于自由度为独立约束数的卡方分布。
剖面似然：固定目标参数后，仍对干扰参数最大化的似然。
卡方混合分布：不同自由度的卡方分布按给定权重混合，零自由度表示零点质量。

参考文献

Kempthorne, P. (2016). MIT 18.655, Lecture 18: Asymptotics III—Bayes Inference and Large-Sample Tests。官方讲义：最大似然展开、简单及复合似然比卡方极限、Wald与Rao得分检验。
UC Berkeley Stat 210A (2024). Likelihood Based Inference。官方课程讲义：三类统计量、复合约束的投影解释，以及Wald的参数化敏感性。本节将一致余项和估计量定位作为显式前提展开证明。
Self, S. G. and Liang, K.-Y. (1987). Asymptotic Properties of Maximum Likelihood Estimators and Likelihood Ratio Tests under Nonstandard Conditions, JASA 82(398), 605–610。大学课程保存的原论文：锥投影与边界极限，特别是Case 5的等权卡方混合。本节例2另由正态分布直接推导有限样本精确结论。