主要先修：10.3 弱收敛、紧性与连续映射、10.6 中心极限定理及其推广、13.1 随机过程的构造与路径、13.2 布朗运动的定义与基本性质、19.6 经验分布、一致收敛与同时置信带。
严格接19.6，并补13.1–13.2的路径空间与布朗桥，以及10.3的连续映射。其KS/CvM结果用于22.2的渐近分布检验；一般函数类的复杂度理论不在本节完整展开。 查看全书依赖图与分支路线。
19.7.1 从每个点到整条误差曲线
第19.6节控制经验分布与真实分布的最大差异，本节研究误差乘以\(\sqrt n\)以后的整条随机函数。对每个固定点使用CLT只能描述该点的波动；Kolmogorov–Smirnov检验取所有点的最大偏差，Cramér–von Mises统计量积累整个区间上的平方偏差，两者需要函数型极限。
设\(U_1,U_2,\ldots\) iid服从\(U(0,1)\)，定义
索引\(t\)是分布函数的阈值，样本量是\(n\)。过程的路径右连续且有左极限，\(\alpha_n(0)=\alpha_n(1)=0\)几乎必然；它不是按时间累加新的独立增量的随机游走。
一般经验过程可以写成\(\sqrt n(P_nf-Pf)\)，其中\(P_nf=n^{-1}\sum_i f(X_i)\)。本节只展开半直线指标函数类，后续的无限函数类结果还需要复杂度、可测性和紧性条件，不能从此例自动推广。
19.7.2 有限维CLT与布朗桥协方差
对固定有限多个\(t_1,\ldots,t_k\in[0,1]\)，
允许重复阈值及端点，此时协方差矩阵可能奇异，正态分布按退化高斯向量理解。
完整证明。令\(V_i=(\mathbf1_{U_i\le t_a}-t_a)_{a=1}^k\)。这些向量iid、有界且均值零。两个指标的乘积为\(\mathbf1_{U_i\le\min(t_a,t_b)}\)，所以\(E(V_{i,a}V_{i,b})=\min(t_a,t_b)-t_at_b\)。任取固定向量\(c\)，标量\(c^\mathsf TV_i\)有有限方差，多元CLT的Cramér–Wold论证给出\(n^{-1/2}\sum_iV_i\)的高斯极限；方差为零的方向恒等于零。这个和正是所需经验过程向量，证毕。
同样计算还给出对每个有限\(n\)准确成立的\(\operatorname{Cov}(\alpha_n(s),\alpha_n(t))=\min(s,t)-st\)。第13.2节的布朗桥\(B^\circ(t)=B(t)-tB(1)\)均值零，协方差也是这个核。因此有限维极限恰与布朗桥相同。\(\operatorname{Var}B^\circ(t)=t(1-t)\)在两端为零，说明终点约束；不同区间上的桥增量一般不独立。
取阈值\(1/4,3/4\)。两项方差都为\(3/16\)，协方差为\(1/4-(1/4)(3/4)=1/16\)，相关系数为\(1/3\)。对任意样本量，这些就是标准化经验比例的准确二阶矩；样本量趋大时，联合分布才趋于具有此协方差的二维正态。差\(\alpha_n(3/4)-\alpha_n(1/4)\)等于区间\((1/4,3/4]\)内样本比例的中心化标准化，方差为\(1/4\)，与区间概率\(1/2\)的伯努利方差一致。
19.7.3 路径空间与Donsker定理
令\(D[0,1]\)为右连续、有左极限的实函数空间。第13.1节已介绍路径空间。本节采用Skorokhod的\(J_1\)拓扑：\(x_n\to x\)当且仅当可以选择递增连续双射\(\lambda_n:[0,1]\to[0,1]\)，使\(\|\lambda_n-\mathrm{id}\|_\infty\to0\)及\(\|x_n\circ\lambda_n-x\|_\infty\to0\)。微小的时间变换允许跳跃位置略有移动。
若极限\(x\)连续，则它在紧区间上一致连续，上述两项控制进一步推出\(\|x_n-x\|_\infty\to0\)：把任意时刻写成\(\lambda_n(u)\)，误差分为已控制的函数差和\(x(u)-x(\lambda_n(u))\)。因此在连续极限处，上确界和平方积分等映射连续。
在本节iid均匀样本条件下，把\(\alpha_n\)视为\(D[0,1]\)中的可测随机元素，则
这是经验分布的函数型CLT，极限为布朗桥。第13.1节对部分和的Donsker定理给出布朗运动，两者的随机函数及终点约束不同。
证明范围。有限维部分已在上一段完整证明；从有限维极限到路径空间弱收敛，还需要证明过程族的紧性，控制所有阈值之间的波动。本节引用这一技术部分，准确的\(D[0,1]\)结论及完整证明见Marckert论文的定理1、命题2及后续证明；其中以插值过程和泊松随机游走的修正建立函数收敛，再控制原阶梯过程的插值误差。这里不把有限维CLT冒称完整Donsker证明。
一个确定性反例能说明缺口。取\(x_n(t)=\max\{0,1-2n|t-1/n|\}\)。每个固定时刻的值最终为零，但\(\sup_t|x_n(t)|=1\)始终成立。它不能在\(J_1\)下趋于连续的零函数。逐点极限没有控制越来越窄的尖峰，函数型证明必须排除这类波动。上节的DKW可以控制未标准化误差，却也不能仅凭该界直接写出布朗桥极限分布。
19.7.4 KS与平方积分的连续映射
均匀模型下定义\(D_n=\sup_{0\le t\le1}|F_n(t)-t|\)及\(W_n=n\int_0^1(F_n(t)-t)^2dt\)。注意本节\(D_n\)没有预先乘\(\sqrt n\)。由于极限路径连续，连续映射定理给出
映射连续性的核查。若\(x_n\to x\)且\(x\)连续，则前述论证给一致收敛。上确界差不超过\(\|x_n-x\|_\infty\)。平方积分差的绝对值不超过\(\|x_n-x\|_\infty(\|x_n\|_\infty+\|x\|_\infty)\)，而一致收敛使后一个因子有界。故两映射在布朗桥几乎必然所属的连续路径处连续，足以使用连续映射定理。
第二个极限不是单个正态变量的平方，也不应随意当成某个有限自由度卡方。可直接计算其期望：非负积分换序给\(E\int(B^\circ)^2dt=\int_0^1t(1-t)dt=1/6\)。同样由经验过程的准确方差可得每个\(n\)都有\(E W_n=1/6\)；这里分别计算两个期望，没有仅从弱收敛推出矩收敛。
对任意已知连续CDF\(F_0\)，用第9.2节的分位数变换写\(X_i=F_0^{-1}(U_i)\)，则\(\mathbf1_{X_i\le x}=\mathbf1_{U_i\le F_0(x)}\)。连续CDF在实轴上覆盖所有\((0,1)\)值，所以KS上确界与均匀模型相同；对\(dF_0\)积分也转成均匀积分。因此已知连续分布的这两类统计量有分布无关的原假设律。CDF有原子时，不能不加调整地套用连续分布的临界值。
19.7.5 顺序统计量给出准确计算式
设样本的顺序统计量为\(u_{(1)}\le\cdots\le u_{(n)}\)。考察各跳跃前后的CDF值，得
平方积分式的完整推导。令\(u_{(0)}=0,u_{(n+1)}=1\)。在每段\([u_{(i)},u_{(i+1)})\)，经验CDF为\(i/n\)。对这些段展开\(n\int(i/n-t)^2dt\)后相邻边界项相消，得到
逐项配方，并用\(\sum_{i=1}^n(2i-1)^2=n(4n^2-1)/3\)，常数余项恰为\(1/(12n)\)，得所需表达。重复观测会产生长度为零的段，积分推导仍成立。KS公式则来自每段上线性差函数在端点或端点左极限的最大绝对值。
对已知均匀模型，观测为\(0.2,0.5,0.9\)。跳跃后的正差分别为\(2/15,1/6,1/10\)，跳跃前的负差绝对值分别为\(1/5,1/6,7/30\)，故\(D_3=7/30\approx0.233333\)，\(\sqrt3D_3\approx0.404145\)。平方积分式给\(W_3=1/36+(1/30)^2+0+(1/15)^2=1/30\approx0.033333\)。这些是观测统计量的准确数值，不是p值；样本量三时不能只凭极限式把近似尾概率称为精确概率。
19.7.6 用同一数据拟合分布会改变极限
若用\(F_{\widehat\theta}\)代替事前已知的\(F_{\theta_0}\)，在固定维、参数估计具有联合渐近线性极限、CDF具有一致可微余项等条件下，展开为
这里余项若用于KS上确界，必须对全部\(x\)一致控制；仅对每点的展开不够。经验过程与参数估计来自同一批数据，通常相关，因此极限不是一条未经修正的布朗桥。应针对拟合后的联合极限或有效重抽样程序校准检验。
例如\(X_i\) iid服从\(N(\mu,1)\)，用\(\bar X\)拟合均值。在真值\(\mu=0\)的坐标下，\(\dot F_0(x)=-\phi(x)\)，故修正极限是\(G(x)=B^\circ(\Phi(x))+\phi(x)Z\)，其中\(Z\)是标准化均值的联合极限。正态积分给\(\operatorname{Cov}(B^\circ(\Phi(x)),Z)=E[X\mathbf1_{X\le x}]=-\phi(x)\)，从而
在零点，方差由已知均值时的\(1/4\)变为\(1/4-1/(2\pi)\approx0.090845\)。这个明确差异说明，套用已知分布的KS临界值没有本节所证的保证。正态CDF的有界二阶均值导数及样本均值的\(O_P(n^{-1/2})\)性质可以控制本例的一致Taylor余项；一般参数族须分别核查。
19.7.7 习题与解答
习题19.7-1 · 协方差与区间计数
取\(s=0.2,t=0.6\)，求经验过程两项方差、协方差及差的方差。用区间概率核对。
两项方差为0.16与0.24，协方差为\(0.2-0.2\cdot0.6=0.08\)，故差的方差为\(0.16+0.24-2\cdot0.08=0.24\)。差等于区间\((0.2,0.6]\)的经验比例减0.4后乘\(\sqrt n\)，其准确方差为\(0.4(1-0.4)=0.24\)，两种计算一致。不能因为使用两个不同阈值就把两项当成独立量相加。
习题19.7-2 · 四个均匀观测
观测为\(0.1,0.4,0.6,0.8\)，计算\(D_4\)和\(W_4\)。
跳跃后的差为0.15、0.10、0.15、0.20，跳跃前的反向差为0.10、0.15、0.10、0.05，所以\(D_4=0.20\)。配方位置为0.125、0.375、0.625、0.875，对应平方差之和\(0.000625+0.000625+0.000625+0.005625=0.0075\)。加\(1/48\)，得到\(W_4=0.02833333\)。这是CDF相对已知均匀分布的统计量，未估计未知分布参数。
习题19.7-3 · 连续映射所需的条件
用本节尖峰\(x_n\)说明每个固定点收敛为什么不能推出上确界收敛。若已经知道\(J_1\)收敛到连续零函数，结论会怎样？
固定正的\(t\)最终不在尖峰支撑内，零点也始终取零，所以逐点极限为零；但每条函数在\(1/n\)处等于一，上确界保持一。若\(J_1\)极限真是连续零函数，微小时间变换和零函数的一致连续性会推出一致收敛，进而上确界趋零，与本例矛盾。实际函数型结论还需要额外的紧性论证，不能从有限维CLT省略这一环节。
习题19.7-4 · 拟合均值后的零点方差
在正态已知方差、未知均值的例子中，计算\(\operatorname{Var}(B^\circ(1/2)+\phi(0)Z)\)。如果错误地把两个极限变量当成独立量，会得到什么？
联合协方差为\(-\phi(0)\)，所以方差等于\(1/4+\phi(0)^2-2\phi(0)^2=1/4-1/(2\pi)\approx0.090845\)。若误设独立，交叉项消失，会得到\(1/4+1/(2\pi)\approx0.409155\)，方向与正确的拟合修正都不同。两项来源相同的样本，必须通过联合CLT保留交叉协方差，不能分别看各自边际正态性。
关键术语
经验过程：经验平均与总体平均之差的标准化随机函数；有限维极限：固定有限索引处的联合分布极限；布朗桥：终点受约束的连续高斯过程；路径空间紧性：过程分布在函数空间中可由紧集统一控制的性质；J₁拓扑：允许微小时间变换的跳跃路径收敛结构；函数型CLT：随机函数在路径空间中的弱极限；KS统计量：经验CDF与指定CDF的最大绝对差；Cramér–von Mises统计量：CDF误差的标准化平方积分；拟合修正：把同一数据估计参数的影响及联合协方差计入极限。
参考文献
- Jean-François Marckert. One more approach to the convergence of the empirical process to the Brownian bridge. Electronic Journal of Statistics 2, 118–126, 2008。定理1准确陈述D空间的经验过程极限，命题2及其证明给出函数收敛的技术论证；本节引用该部分。
- Aditya Guntuboyina. Statistics 210B Lecture One, Berkeley，2014年1月21日，§1.1–1.2。经验过程、布朗桥、KS与平方积分检验的联系。
- Patrick Billingsley. The Space D, Convergence of Probability Measures, 第二版，1999。跳跃路径空间的几何、弱收敛和紧性背景；具体均匀经验过程证明采用文献[1]。