主要先修：10.1 随机变量的收敛方式、10.3 弱收敛、紧性与连续映射、10.6 中心极限定理及其推广。
本节为后续统计展开提供随机阶和余项语言。19.2–19.4是正则推断主干，19.5是另一个分位数与极值分支。 查看全书依赖图与分支路线。
19.1.1 随机阶与概率中的有界性
10.1节区分了收敛方式；这里进一步记录误差的量级。设所有随机向量维数固定，范数为欧氏范数，\(a_n>0\)为确定数列。不同的估计问题可以有不同的速度，不能先假定它们都按样本量的平方根缩放。
记\(R_n=o_P(a_n)\)，若\(\|R_n\|/a_n\xrightarrow{P}0\)。记\(R_n=O_P(a_n)\)，若对每个\(\varepsilon>0\)，存在有限常数\(M\)及整数\(N\)，使
大写表示缩放后的尾部能够共同控制；小写表示缩放后趋于零。符号中的等号是一种性质记法，不表示存在一个名为\(O_P(a_n)\)的随机变量。
当每个\(R_n\)取有限值时，式(19.1-1)等价于要求对全部\(n\)成立：扩大\(M\)即可控制有限多个初始项。因此\(R_n=O_P(1)\)等价于分布族紧；由10.3节，弱收敛序列必为\(O_P(1)\)。若\(a_n\to0\)，则\(O_P(a_n)\)也是\(o_P(1)\)，但一致性本身不指定速度。
例如\(\sqrt n(\bar X_n-\mu)\Rightarrow N(0,\sigma^2)\)给出\(\bar X_n-\mu=O_P(n^{-1/2})\)。当\(\sigma^2>0\)时它并非\(o_P(n^{-1/2})\)，因为缩放后的非退化极限不为零。这仍然是一条分布性质，不是每次观测误差的确定上界。
19.1.2 运算规则与不能推出的结论
对确定正数列\(a_n,b_n\)，若\(U_n=O_P(a_n)\)、\(V_n=O_P(b_n)\)，则和为\(O_P(a_n+b_n)\)，实值乘积为\(O_P(a_nb_n)\)。若将第一个条件加强为\(U_n=o_P(a_n)\)，则乘积为\(o_P(a_nb_n)\)。这些结论不要求独立。
证明。将\(U_n,V_n\)分别除以对应尺度，只须证明单位尺度情形。给定\(\varepsilon>0\)，共同取\(M\)使两个尾概率在充分大的\(n\)下各小于\(\varepsilon/2\)。在两个绝对值都不超过\(M\)的事件上，和不超过\(2M\)，积不超过\(M^2\)；补事件用并集界控制，得到大写结论。
小写乘积给定\(\eta>0\)，对任意\(M>0\)有
先使第一项的上极限任意小，再令\(n\to\infty\)使第二项为零，得\(U_nV_n\xrightarrow{P}0\)。证明只用概率界，没有对乘积期望或独立性作假设。证毕。
| 已知 | 可以得到 | 条件 |
|---|---|---|
| \(R_n=o_P(a_n)\) | \(R_n=O_P(a_n)\) | 直接由定义 |
| \(R_n=O_P(a_n),\ a_n\to0\) | \(R_n=o_P(1)\) | 尺度为确定数列 |
| \(R_n\xrightarrow{P}c\ne0\) | \(1/R_n=1/c+o_P(1)\) | 零分母处任意指定有限值 |
| \(R_n=O_P(1)\) | 不能自动取倒数或控制矩 | 须另外控制零点附近或可积性 |
比如确定序列\(R_n=1/n\)有\(O_P(1)\)性质，倒数却发散。另有\(R_n=n^2\)的概率为\(1/n\)，其余取零；它是\(o_P(1)\)，但\(ER_n=n\)。所以忽略的概率余项未必能在取期望后忽略；矩极限需要一致可积性等额外条件。
19.1.3 随机估计点上的余项
泰勒公式中的输入现在是随机的。写出确定点附近的余项以后，还须证明估计误差进入该邻域，并比较余项与推断尺度。
设\(a_n\to0\)，\(H_n=O_P(a_n)\)，可测函数\(r\)满足\(r(0)=0\)及\(r(h)=o(\|h\|^k)\)，其中\(k>0\)。则\(r(H_n)=o_P(a_n^k)\)。
证明。定义\(\rho(h)=|r(h)|/\|h\|^k\)，在零点置零。因为\(H_n\xrightarrow{P}0\)且\(\rho(h)\to0\)，有\(\rho(H_n)=o_P(1)\)；这一点也可直接用小邻域的确定界证明。又有\((\|H_n\|/a_n)^k=O_P(1)\)，于是
若公式只在固定邻域成立，其外事件的概率趋于零，任意有限的延伸不改变结论。证毕。
因此，当\(\widehat\theta_n-\theta=O_P(n^{-1/2})\)时，在\(\theta\)处可微的映射给出
乘以\(\sqrt n\)后余项仍趋零，才可调用Slutsky与delta方法。若局部二阶导数有界，一阶展开的余项甚至为\(O_P(n^{-1})\)。只有\(o_P(1)\)的余项则可能比主项大，尚不足以决定平方根尺度的极限。
19.1.4 渐近线性与均值、方差的联合展开
设\(X_i\)为iid观测，固定维数参数\(\theta\)的估计量满足
称其具有渐近线性展开，\(\psi\)是这一展开中的影响函数。这里描述估计误差的首阶贡献；它与17.5节的污染方向导数相联系，但这个定义直接以估计误差的展开为依据。
由多元CLT及Slutsky，\(\sqrt n(\widehat\theta_n-\theta)\Rightarrow N(0,V)\)，其中\(V=E[\psi\psi^{\mathsf T}]\)，允许奇异。当\(\psi\)已知，样本平均\(n^{-1}\sum_i\psi(X_i)\psi(X_i)^{\mathsf T}\)由LLN一致估计\(V\)。实际用\(\widehat\psi_{n,i}\)替换时，一个充分条件是
矩阵差展开后，用Cauchy–Schwarz及\(n^{-1}\sum\|\psi(X_i)\|^2=O_P(1)\)即可证明替代误差为\(o_P(1)\)。仅有参数估计一致，尚未自动验证这个样本平均条件。实值情况下，若\(V>0\)、\(\widehat V_n\xrightarrow{P}V\)，则渐近标准误为\(\sqrt{\widehat V_n/n}\)，学生化统计量趋于标准正态；它不宣称估计量的有限样本方差恰等于\(V/n\)。
设\(EX^4<\infty\)，记\(Y=X-\mu\)、\(\mu_j=EY^j\)及\(\sigma^2=\mu_2\)。用除数\(n\)定义\(\widehat v_n=n^{-1}\sum_i(X_i-\bar X_n)^2\)。求其与均值的联合极限。
解。令\(U_n=\bar X_n-\mu\)，有逐样本恒等式
故影响函数为\((Y,Y^2-\sigma^2)^{\mathsf T}\)，第四矩保证其平方可积。分别计算二阶积，得到
取速率为\(2\)的指数分布，其\(EX^j=j!/2^j\)，因此\(\mu=1/2\)、\(\sigma^2=1/4\)、\(\mu_3=1/4\)、\(\mu_4=9/16\)，极限协方差为\(\left(\begin{smallmatrix}1/4&1/4\\1/4&1/2\end{smallmatrix}\right)\)。当\(n=100\)时，一阶标准误分别为\(0.05\)与\(\sqrt{1/200}\approx0.07071\)，二者渐近相关系数为\(1/\sqrt2\)。用除数\(n-1\)只改变\(O_P(n^{-1})\)项。方差的一致性仅需二阶矩，以上平方根尺度的证明则使用第四矩。
19.1.5 比值、稳定分母与有效误差阶
设iid配对观测\((A_i,B_i)\)有有限二阶矩，均值为\((a,b)\)且\(b\ne0\)。求\(R_n=\bar A_n/\bar B_n\)的展开，零分母处置零。
解。令\(u_n=\bar A_n-a\)、\(v_n=\bar B_n-b\)，二者均为\(O_P(n^{-1/2})\)。在\(|v_n|<|b|/2\)的高概率事件上，准确相减得
该事件上分母的倒数有确定界；后二项合为\(O_P(n^{-1})\)。事件外概率趋零，所以同一随机阶仍成立，零分母的定义不影响极限。于是
取\(X_i\sim\operatorname{Exp}(2)\)，\(A_i=X_i^2,B_i=X_i\)，目标比值为\(1\)。原点矩给\(\operatorname{Var}(A)=5/4\)、\(\operatorname{Var}(B)=1/4\)、\(\operatorname{Cov}(A,B)=1/2\)。影响函数为\(2X_i^2-2X_i\)，均值零，方差为
在\(n=100\)时一阶标准误约\(0.14142\)。两样本矩来自同一批数据，不能删掉协方差项；若误作独立，会得到极限方差\(6\)。这里要求配对数据二阶矩，对\(A=X^2\)意味着原观测第四矩有限。
渐近推断比较的是展开后的尺度。即使两个估计量都一致，只有它们之差为\(o_P(n^{-1/2})\)，才保证在平方根尺度上具有相同极限。较大的优化误差、数值误差或截断偏差必须另外计入。
19.1.6 退化导数、其他速率与统一控制
若\(g'(\theta)=0\)且\(g\)在\(\theta\)有二阶Peano展开，命题19.1.3给出\(g(\widehat\theta_n)-g(\theta)=\tfrac12g''(\theta)(\widehat\theta_n-\theta)^2+o_P(n^{-1})\)。当\(\sqrt n(\widehat\theta_n-\theta)\Rightarrow Z\)时，乘以\(n\)的极限为\(g''(\theta)Z^2/2\)。10.3节的平方例题是此情形。
均匀分布端点估计有另一种速度。若\(X_i\sim U(0,\theta)\)、\(\theta>0\)，则由最大值分布，固定\(t\ge0\)且\(n>t\)时，\(P(n(\theta-X_{(n)})/\theta>t)=(1-t/n)^n\to e^{-t}\)。误差为\(O_P(n^{-1})\)，非退化极限是指数分布。更多分位数、极值及边界情形见19.5节。
最后，固定参数上的\(o_P(1)\)不能自动在随机估计点上使用。若余项随参数变化，通常需要\(\sup_{\vartheta\in\Theta}|r_n(\vartheta)|=o_P(1)\)或相应局部控制；逐点成立只允许先固定\(\vartheta\)再取极限。下一节的M估计将明确这一要求。
19.1.7 习题与完整解答
习题19.1-1 概率余项与期望
令\(W_n=n^2\)的概率为\(1/n\)，其余取零。证明\(W_n=o_P(1)\)，计算期望，并判断\(W_n/n\)是否为\(o_P(1)\)。
对固定\(\varepsilon>0\)，充分大的\(n\)有\(P(|W_n|>\varepsilon)=1/n\to0\)，而\(EW_n=n\)。同样，\(W_n/n\)取\(n\)的概率为\(1/n\)，因此仍依概率趋零，但期望恒为\(1\)。这族变量不是一致可积的：任何有限阈值\(K\)，选\(n>K\)就有\(E[(W_n/n)\mathbf1_{W_n/n>K}]=1\)。
习题19.1-2 逐点控制能否代入估计点
在\([0,1]\)上设\(r_n(t)=(1-n^2|t-1/n|)_+\)，\(n\ge2\)。证明每个固定\(t\)处\(r_n(t)\to0\)，但\(\sup_t r_n(t)=1\)。取\(\widehat t_n=1/n\)会怎样？
固定\(t>0\)时，最终\(|t-1/n|>1/n^2\)，函数为零；\(t=0\)时\(n^2|t-1/n|=n\)，也为零。中心\(t=1/n\)处函数等于\(1\)，所以统一上确界恒为\(1\)。虽然\(\widehat t_n\to0\)，代入值\(r_n(\widehat t_n)=1\)不趋零。这是确定性反例，因而也否定一般的依概率推论。
习题19.1-3 正态样本方差的误差尺度
在例19.1.1中取\(X_i\sim N(\mu,4)\)，求均值与方差的渐近协方差，并在\(n=100\)时计算一阶标准误。
中心正态矩为\(\mu_3=0\)、\(\mu_4=3\sigma^4=48\)，因此式(19.1-8)的矩阵为\(\operatorname{diag}(4,32)\)。极限联合正态且协方差为零，所以两个极限坐标独立。一阶标准误为\(\sqrt{4/100}=0.2\)与\(\sqrt{32/100}\approx0.56569\)。除数\(n\)的方差估计期望为\(4(99/100)=3.96\)，其\(0.04\)偏差在平方根尺度趋零；精确有限样本独立性可另由7.7节得到。
习题19.1-4 一致的近似是否保留极限
设\(X_i\sim N(0,1)\)独立，比较\(T_n=\bar X_n+n^{-1}\)、\(U_n=\bar X_n+n^{-1/4}\)和\(V_n=\bar X_n+c/\sqrt n\)的平方根尺度极限。
三者均依概率趋于零。\(\sqrt nT_n=\sqrt n\bar X_n+n^{-1/2}\Rightarrow N(0,1)\)，而\(\sqrt nV_n\Rightarrow N(c,1)\)。对\(U_n\)，缩放后的确定偏移为\(n^{1/4}\)；任意固定\(M\)有\(P(\sqrt nU_n\le M)=\Phi(M-n^{1/4})\to0\)，故它依概率趋于正无穷，没有实数上的弱极限。要求近似保留原极限时，必须在推断尺度上检查误差。
关键术语
- 随机阶：用确定尺度记录随机误差的概率量级。
- 概率中有界：缩放后分布族的尾概率可共同控制。
- 紧性：用同一个紧集容纳全部分布的足够大概率质量。
- 余项：展开主项之外的误差，须与推断尺度比较。
- 渐近线性：估计误差为零均值样本平均加较小余项。
- 影响函数：渐近线性展开中单个观测的首阶贡献。
- 学生化：用一致的标准误估计将统计量标准化。
- 统一控制：对一个参数集合上的上确界给出误差界。