主要先修：9.2 可测映射、分布与一般分布函数、10.5 大数定律的证明与适用边界、18.4 精确置信区间与非渐近保证、19.1 随机阶与渐近展开。
经验CDF的一致误差与置信带是一条可独立学习的分支；GC证明不依赖MLE。随机阶解释用19.1，再由19.7进入整条随机函数的极限。 查看全书依赖图与分支路线。
19.6.1 经验CDF估计的是整份分布
设\(X_1,X_2,\ldots\) iid为实值随机变量，CDF为\(F\)。不要求它有密度、有限均值或连续性。经验分布把质量\(1/n\)放在每次观测上，经验CDF为\(F_n(x)=n^{-1}\sum_i\mathbf1_{X_i\le x}\)。重复观测的质量相加，所以跳跃大小可能超过\(1/n\)。
记
两个CDF右连续，因此上确界等于有理数阈值上的上确界，\(D_n\)是可测随机变量。点态收敛只固定一个\(x\)，一致收敛要求这个最大误差趋于零。
第8.4节已经说明每个固定阈值上的指标变量大数定律。这里再记录准确的二阶矩：\(EF_n(x)=F(x)\)，\(\operatorname{Var}F_n(x)=F(x)(1-F(x))/n\)。当\(0<F(x)<1\)时，标准化点态CLT成立；端点概率为零或一时，指标退化。它们都没有单独控制无限多个阈值的最大误差。
19.6.2 Glivenko–Cantelli定理的完整证明
对任意实值iid分布，都有\(D_n\to0\)几乎必然。这是Glivenko–Cantelli定理，包含纯离散、连续及混合分布。
完整证明。先取iid均匀变量\(U_i\)，其经验CDF为\(G_n\)。给定整数\(k\)，在网格\(t_j=j/k\)，\(j=0,\ldots,k\)，有界指标的SLLN同时给出\(G_n(t_j)\to t_j\)。对\(t_j\le t\le t_{j+1}\)，单调性使\(G_n(t_j)\le G_n(t)\le G_n(t_{j+1})\)，从而
对所有整数\(k\)的可数个网格统一排除零概率集合。每个\(k\)给上极限不超过\(1/k\)，故均匀模型的最大误差几乎必然趋零。
对一般CDF，取广义逆\(Q(u)=\inf\{x:F(x)\ge u\}\)，\(0<u<1\)。第9.2节证明了\(Q(U_i)\)具有分布\(F\)，并且\(Q(u)\le x\)等价于\(u\le F(x)\)。于是构造在同一空间的\(X_i'=Q(U_i)\)满足
这个关系不需要\(F\)严格递增，也没有把原子处\(F(X)\)错误地当成均匀变量。原来的整条iid样本序列与构造序列具有同一乘积分布，上述收敛事件可测，因而概率一的结论也适用于原序列。证毕。
有限网格在均匀概率尺度上使用单调性，随后用广义逆处理原子。直接在实轴随意取网格，若不控制跳跃及两端尾部，就会留下证明缺口。不同函数类的统一大数定律也不能仅从这项CDF结论取得，参见第19.2节。
19.6.3 DKW给出严格有限样本误差界
对本节任意实值iid分布、任意\(n\ge1\)及\(\varepsilon>0\)，
常数二是两侧版本的统一常数。结论允许原子，是非渐近的概率上界，不能解释为实际误差恰等于右侧。
证明范围。本节引用DKW的锐常数技术证明，大学课程中的陈述见文献[1]，一个完整的短证明及一侧扩展见Reeve文献[2]。这个结果不能靠把单点Hoeffding界对无限阈值直接求和获得。一般分布由上节的广义逆耦合约化到均匀模型；均匀模型中的最大偏差控制是额外的技术定理。
例如把\(\varepsilon=M/\sqrt n\)代入，失败概率不超过\(2e^{-2M^2}\)，由此直接得到\(D_n=O_P(n^{-1/2})\)。另取\(\varepsilon_n=\sqrt{\log n/n}\)，\(n\ge2\)，失败概率不超过\(2/n^2\)。由Borel–Cantelli，最大误差几乎必然最终不超过该半宽。这是路径上界；\(O_P(n^{-1/2})\)与几乎必然最终的上界不是同一收敛陈述。
19.6.4 同时置信带与含原子算例
取\(0<\alpha<1\)，固定样本量下定义
同时覆盖的完整证明。事件\(D_n\le r_n\)上，对所有实数\(x\)都有\(F_n(x)-r_n\le F(x)\le F_n(x)+r_n\)。真实CDF本在\([0,1]\)内，裁剪后的上下界仍包含它。DKW使这个同一事件概率至少为\(1-\alpha\)，故\(P(\forall x:L_n(x)\le F(x)\le U_n(x))\ge1-\alpha\)。这控制整个函数，并非把单个95%区间在无穷多个点重复使用。上下界函数也不一定各自是归一化的CDF，例如下界在正无穷的极限可能小于一。
设真实分布为\(P(X=0)=0.4,P(X=1)=0.6\)，样本量100。若观察到30个零、70个一，则\(0\le x<1\)上的真实CDF为0.4、经验CDF为0.3，其他位置两者相同，所以\(D_{100}=0.1\)。95%带半宽为\(r_{100}\approx0.13581015\)，在这个中段为\([0.16418985,0.43581015]\)，确实包含0.4。
重复抽样时零计数\(K\sim\operatorname{Bin}(100,0.4)\)，最大误差准确等于\(|K/100-0.4|\)。漏覆盖对应\(K\le26\)或\(K\ge54\)，精确二项求和约为0.00559360，远小于DKW允许的0.05。这里以真实有限分布核算保守程度，没有用模拟频率冒充精确覆盖。
如果希望整个CDF的带半宽至多\(h\)，充分的固定样本量为\(n\ge\lceil\log(2/\alpha)/(2h^2)\rceil\)。95%水平、半宽0.05得到738。它对任意允许总体都保证同一半宽，代价是对一些指定模型较保守。按结果不断延长样本并停止时，不再自动拥有该全时间保证，见第23.5节。
19.6.5 置信带反演为分位数保证
对\(0<p<1\)，定义总体分位数\(Q_F(p)=\inf\{x:F(x)\ge p\}\)及经验广义逆\(Q_n\)。扩展约定\(Q_n(a)=-\infty\)当\(a\le0\)，\(Q_n(a)=+\infty\)当\(a>1\)。在同一个\(D_n\le r_n\)事件上有
反演证明。当\(p-r_n>0\)时，任意\(x<Q_n(p-r_n)\)都有\(F_n(x)<p-r_n\)，因此\(F(x)\le F_n(x)+r_n<p\)，总体分位点不会在这个左侧区域。若\(p+r_n\le1\)，在\(x=Q_n(p+r_n)\)处，经验CDF达到\(p+r_n\)，故\(F(x)\ge F_n(x)-r_n\ge p\)，给出上界。超出概率范围的情形用无穷端点处理。证明允许原子，既不要求密度正，也不声称得到最短区间。
样本量100、95%水平时，\(0.5-r_n\approx0.36418985\)、\(0.5+r_n\approx0.63581015\)。由于\(Q_n(a)=X_{(\lceil na\rceil)}\)，总体广义中位数的区间为\([X_{(37)},X_{(64)}]\)。如果一份观测恰为\(x_{(i)}=(i-1/2)/100\)，则报告区间为\([0.365,0.635]\)。其方法保证来自CDF同时带，不需要假定真实总体均匀，也不需要在中位数处有正密度。这些观测数值只是手算实例，概率保证仍按各个允许总体重复抽样评价。
同一CDF事件还控制所有\((a,b]\)区间的概率估计：\(|[F_n(b)-F_n(a)]-[F(b)-F(a)]|\le2r_n\)。若区间包括左端点，要使用\(F(a-)\)及\(F_n(a-)\)；在原子分布下不能忽略端点差别。由于已经同时控制所有阈值，事后选择一个阈值本身不会破坏这项CDF带的事件保证。
19.6.6 CDF一致逼近不等于矩逼近
令分布序列\(P_n=(1-1/n)\delta_0+(1/n)\delta_{n^2}\)，\(n\ge2\)。与\(P=\delta_0\)相比，两个CDF的上确界差为\(1/n\to0\)，但\(E_{P_n}X=n\to\infty\)，而\(E_PX=0\)。极少量质量可以移到很远处，CDF的纵向误差仍小，均值却大幅变化。
这是分布序列的反例，未否定固定iid总体且\(E|X|<\infty\)时样本均值的SLLN。矩收敛需要可积性、一致可积或相应尾部控制，参见第9.5节。无有限均值的总体仍有CDF及本节的一致CDF估计，不能因此宣称其均值也得到一致估计。
GC控制半直线指标类。对任意有限集合的指标类，在连续总体下每个集合概率为零，但包含全部已观察点的集合经验概率为一，因此其最大误差恒为一。这项反例说明，换成其他无限函数类需要自己的复杂度论证。下一节研究CDF误差在\(\sqrt n\)尺度上的布朗桥极限，把一致概率界与极限分布区分开来。
19.6.7 习题与解答
习题19.6-1 · 同时带所需样本量
希望整个CDF以99%概率处于未裁剪半宽0.1的DKW带中，给出一个充分整数样本量。
取\(\alpha=0.01,h=0.1\)，样本量要求\(n\ge\log(200)/0.02\approx264.91587\)，所以265足够。证明依据的是最大CDF误差的概率界，保证全部阈值同时覆盖，不必预先列出有限多个阈值。该数是充分上界，不宣称在每个具体总体中都是最少所需样本量。
习题19.6-2 · 原子处的区间端点
在例19.6-1的观测中，估计\(P(0\le X\le1)\)与\(P(0<X\le1)\)。为什么不能都用\(F_n(1)-F_n(0)\)？
含左端点的区间概率估计为\(F_n(1)-F_n(0-)=1-0=1\)。不含左端点的区间估计为\(F_n(1)-F_n(0)=1-0.3=0.7\)。真实对应概率分别为1与0.6；二者的区别来自零点的质量。CDF带也控制左极限，可用趋近左端点的阈值取极限，因此闭区间的保证仍可构造，但必须保留正确端点。
习题19.6-3 · 矩反例的准确距离
对本节\(P_n\)与\(\delta_0\)，逐段计算CDF差及均值，并说明仅从CDF一致距离趋零推导均值收敛失败在哪里。
在\(x<0\)时两CDF都为零；\(0\le x<n^2\)时分别为\(1-1/n\)与1；\(x\ge n^2\)时都为1。上确界差准确为\(1/n\)，而均值分别为\((1/n)n^2=n\)与零。CDF距离没有控制无界函数\(x\)对远端少量质量的积分。需要额外的尾部或一致可积条件，不能只用有界指标函数的一致控制来交换无界积分极限。
习题19.6-4 · 相同边际不等于iid
令所有\(X_i\)都等于同一个\(Y\sim U(0,1)\)。每项具有相同连续CDF，是否仍有本节的GC和DKW保证？用阈值1/2给出反例。
经验CDF在1/2处为\(\mathbf1_{Y\le1/2}\)，真实CDF为1/2，所以误差恒为1/2，无论样本量多大。因此\(D_n\ge1/2\)几乎必然，既不趋零，也不满足对固定小正误差阈值随n指数下降的DKW上界。样本具有完全依赖，共同边际分布只说明每项的概率规律，没有建立独立抽样。依赖数据需要新的经验过程和误差界条件。
关键术语
经验分布：在每次观测位置放置质量1/n的概率测度；经验CDF：经验分布的累积概率函数；一致误差：整个索引集合上的最大误差；GC定理：iid经验CDF的全实轴一致强收敛；DKW界：经验CDF最大偏差的严格有限样本尾界；同时置信带：在一个概率事件上包含整条目标函数的上下界；广义逆：以达到指定累积概率的最小阈值定义的分位数；原子：单点具有正概率的分布质量；矩收敛：相应无界函数积分的收敛，须另查尾部条件。
参考文献
- Sivaraman Balakrishnan. CMU 36-700 Lecture 13: Estimating the CDF, 2016年9月28日，§13.2。经验CDF、GC陈述、DKW与同时置信带。
- Henry W. J. Reeve. A short proof of the Dvoretzky–Kiefer–Wolfowitz–Massart inequality, 2024。锐常数概率界的完整技术证明与一侧局部扩展；本节引用技术结论，未展开该长证明。
- Jean-François Marckert. One more approach to the convergence of the empirical process to the Brownian bridge, 2008。开篇说明均匀CDF的单调网格GC论证；更强的函数型极限在下一节单独介绍。