主要先修:6.6 顺序统计量、22.1 置换检验与随机化推断。
技术部分另用:19.6 经验分布、一致收敛与同时置信带、19.7 经验过程与函数型极限,适用段落见下述说明。
符号与秩方法紧接22.1。已知连续分布的KS/CvM还联系19.6;它们的函数型渐近分布明确依赖19.7,而有限样本符号和秩枚举无需先学Donsker定理。 查看全书依赖图与分支路线。
22.2.1 符号检验先明确配对与零假设
配对数据 \((A_i,B_i)\) 可存在同一对内的关联,但不同对需要独立;令 \(D_i=B_i-A_i\)。单样本检验则令 \(D_i=X_i-\mu_0\)。假设这些差值独立同分布,先考虑连续分布,检验 \(P(D_i>0)=1/2\)。这等价于零是一个总体中位数,不要求分布对称,也不是均值为零的假设。
正号个数 \(S_+=\sum_i\mathbf1\{D_i>0\}\) 在零假设下服从 \(\operatorname{Bin}(n,1/2)\)。针对正方向的精确p值为 \(P\{\operatorname{Bin}(n,1/2)\ge S_{+,\rm obs}\}\)。两侧检验可预先选用 \(|S_+-n/2|\) 的尾概率;因离散性,非随机检验的实际大小通常小于或等于标称水平。
独立的公平符号直接给出二项分布,不需要中心极限定理。若差值有原子,零是中位数只保证两侧概率各不超过 \(1/2\),不能任意删去零值再假定非零符号公平。例如 \(P(D<0)=0.1,P(D=0)=0.6,P(D>0)=0.3\),零仍是中位数,非零时的正号概率却为 \(3/4\)。只有额外要求两侧概率相等时,才能条件于非零个数作公平二项校准。相关的连续重复测量也不能直接当作独立符号。
22.2.2 Wilcoxon符号秩检验需要对称性
符号秩检验仍用于独立的单样本差值或配对差值。其经典零假设要求差值的连续分布关于零对称,并假定没有零值或绝对值并列。令 \(r_i\) 为 \(|D_i|\) 从小到大的秩,正符号秩和为 \(W_+=\sum_i r_i\mathbf1\{D_i>0\}\)。
对称性使每个差值的符号与其绝对值独立,且正负各半;各差值独立又使全部符号独立。于是给定绝对值后,\(W_+\) 的精确分布是 \(\sum_{r=1}^n rZ_r\),其中 \(Z_r\) 独立且服从 \(\operatorname{Bernoulli}(1/2)\)。枚举 \(2^n\) 种符号即可校准,且
例如差值 \((-1,2,3,4,5,6)\) 的正号数为5,符号检验上尾p值为 \(7/64\)。符号秩和为20,总秩和21;只有所有符号为正或仅秩1为负能达到至少20,故在对称零假设下,上尾p值为 \(2/64=1/32\)。两种结果依赖不同零假设,不能仅按哪一个p值更小选择方法。
存在绝对值并列时,使用该块所占秩的平均值,并在给定这些平均秩后重新枚举符号;条件均值为 \(\sum_i r_i/2\),条件方差为 \(\sum_i r_i^2/4\)。在对称性成立时可以删去零差值,但必须用剩余个数与实际秩校准,不能沿用无并列分布表。经典无并列统计量在 \(n\to\infty\) 时标准化后趋于标准正态,这由加权Bernoulli和的中心极限定理给出;有限样本枚举不需要这种近似。单有中位数为零不能保证公平条件符号,习题给出不对称反例。
22.2.3 Mann–Whitney与Wilcoxon秩和
现在是两个独立样本:\(X_1,\ldots,X_n\) 来自 \(F\),\(Y_1,\ldots,Y_m\) 来自 \(G\),每组内部独立同分布,零假设为 \(F=G\)。先假设共同分布连续。合并后有 \(N=n+m\) 个不同值,令 \(R\) 为X组秩和,则
条件于合并后的有序值,X组占据的 \(n\) 个秩在全部 \(\binom Nn\) 个子集中均匀分布,故
完整证明。同分布且独立使合并样本可交换,任一固定大小的标签配置等可能,见22.1节。令 \(I_r\) 表示秩 \(r\) 是否分配给X组,则 \(EI_r=n/N\)、\(\operatorname{Var}(I_r)=nm/N^2\)。对 \(r\ne s\),两秩都入组的概率为 \(n(n-1)/\{N(N-1)\}\),因此协方差为 \(-nm/\{N^2(N-1)\}\)。于是 \(ER=n(N+1)/2\),且
减去式(22.2-2)的常数,得到均值与方差结论。这里不能把所有成对比较指标当作独立Bernoulli变量;共享观测造成的关联正是方差中 \(N+1\) 的来源。∎
含并列值时,使用合并平均秩,并定义 \(U\) 中相等的比较贡献 \(1/2\)。相同的标签枚举仍在同分布零假设下精确有效,但分布依赖实际并列结构。若第 \(b\) 个并列块大小为 \(t_b\),上述证明把秩换成平均秩,得到
每个并列块将连续秩平方离差和减少 \((t_b^3-t_b)/12\),即得修正式。无并列且 \(n,m\to\infty\)、\(n/N\to\lambda\in(0,1)\) 时,\((U-nm/2)/\sqrt{nm(N+1)/12}\) 渐近标准正态;不能用一个固定的小样本阈值保证近似准确。
观察 \(X=(4,5,6)\)、\(Y=(1,2,3)\)。X组秩为4、5、6,故 \(R=15,U=9\)。从秩1至6中选3个,共20种配置;\(U=0,1,\ldots,9\) 的配置个数依次为 \((1,1,2,3,3,3,3,2,1,1)\)。直接求和核对 \(EU=9/2\)、\(\operatorname{Var}U=21/4\)。
针对X偏大的备择,精确上尾p值为 \(1/20=0.05\)。若预先指定两侧统计量 \(|U-9/2|\),极端配置为 \(U=0\) 或9,p值为 \(2/20=0.10\),在5%水平不能拒绝。该结论适用于独立同分布零假设;如果这些数据来自三个匹配对,必须保留配对结构,不能任意重排六个组标签。
一般情况下 \(U/(nm)\) 估计的是 \(q=P(X>Y)+P(X=Y)/2\),不是中位数差。同分布保证 \(q=1/2\),反向不成立。更不能用同分布方差公式任意校准较弱的 \(q=1/2\) 假设。一个连续反例是 \(X\sim\operatorname{Unif}(-1,1)\),Y以各半概率来自 \(\operatorname{Unif}(-2,0)\) 或 \(\operatorname{Unif}(0,1/2)\)。两者唯一中位数都为零,但 \(P(X>Y)=3/16+1/4+3/16=5/8\)。只有在共同形状的位置平移模型中,秩比较才具有相应的位置差解释。
22.2.4 已知连续分布下的KS与CvM
设 \(X_1,\ldots,X_n\) 独立同分布,检验完全预先指定的连续CDF \(F_0\)。令 \(F_n\) 为经验CDF,定义最大误差和平方积分误差:
前者是Kolmogorov–Smirnov(KS)统计量;后者是Cramér–von Mises(CvM)统计量。它们检验整份分布,而不是只检验均值或中位数。
连续分布无关性的完整证明。在零假设下,概率积分变换给出 \(U_i=F_0(X_i)\) 独立且均匀。也可用独立均匀变量和广义逆构造 \(X_i=F_0^{-1}(U_i)\);此时 \(X_i\le x\) 等价于 \(U_i\le F_0(x)\)。令 \(G_n\) 为均匀变量的经验CDF,则 \(F_n(x)=G_n(F_0(x))\)。连续CDF的取值覆盖 \((0,1)\),所以 \(D_n=\sup_{0\le t\le1}|G_n(t)-t|\)。此外,\(F_0\) 将自身概率测度推送为均匀测度,因此 \(T_n=n\int_0^1\{G_n(t)-t\}^2dt\)。两者只依赖均匀样本,有限样本零分布都与具体连续 \(F_0\) 无关。该证明不要求 \(F_0\) 严格递增。∎
写 \(u_i=F_0(X_{(i)})\),计算式为
KS要同时检查跳跃前和跳跃后;只算 \(|u_i-i/n|\) 会漏掉一侧。CvM等式来自按均匀顺序统计量分割积分,推导见19.7节。精确零分布可在密度为 \(n!\) 的均匀有序单纯形上积分,或采用与这些统计量一致的专用算法;它不等于大样本极限表。
22.2.5 四个观测的精确分布检验
检验 \(F_0=\operatorname{Unif}(0,1)\),观察值依次为 \(0.1\)、\(0.3\)、\(0.65\)、\(0.9\)。式(22.2-7)中两侧最大差为0.2与0.15,故 \(D_4=0.2\)。CvM依次使用中点 \(0.125\)、\(0.375\)、\(0.625\)和\(0.875\),平方离差和为 \(3/400\),所以 \(T_4=1/48+3/400=17/600\)。
在零假设下,\(D_4\le0.2\) 要求四个顺序统计量分别位于 \([0.05,0.20]\)、\([0.30,0.45]\)、\([0.55,0.70]\)、\([0.80,0.95]\)。区间互不交叠,故这些约束自动保证顺序;有序密度为24,每段长度0.15,事件概率为 \(24(0.15)^4=0.01215\)。连续零分布没有端点质量,精确上尾p值为 \(1-0.01215=0.98785\)。
CvM事件 \(T_4\le17/600\) 是以这四个中点为中心、半径平方 \(3/400\) 的四维球。半径约0.0866,小于到单位区间边界的距离0.125,也小于到相邻顺序约束边界的距离 \(0.25/\sqrt2\),所以整个球位于有序单纯形内。四维球体积为 \(\pi^2r^4/2\),乘密度24后得到概率 \(27\pi^2/40000\approx0.006662\),精确上尾p值约为0.993338。两个检验都没有拒绝依据,但这不证明总体必定等于 \(F_0\);四个观测的辨别能力有限。
22.2.6 渐近校准与连续性、拟合参数的边界
调用19.7节的均匀经验过程Donsker定理及连续映射,在独立同分布、已知连续 \(F_0\) 的零假设下,
\(B^\circ\) 是均值零、协方差为 \(\min(s,t)-st\) 的布朗桥。两个极限是高斯过程的函数,不是普通正态分布。KS极限CDF为 \(1-2\sum_{k\ge1}(-1)^{k-1}e^{-2k^2z^2}\),\(z>0\);对应渐近5%临界值约1.3581。这里引用已证明及明确引用的函数型极限定理,不把逐点CLT当作最大误差极限的证明。
若零假设 \(F_0\) 含原子,通常 \(F_0(X)\) 不均匀,KS与CvM仍可计算,但连续分布的精确表和上述通用极限不能直接套用。可以按完全已知的离散模型计算其零分布,或使用19.6节对任意iid分布有效的DKW严格界。记录时的舍入、分组或截尾也应进入观测模型。
若以同一数据拟合 \(F_{\widehat\eta}\),变换值不再是独立均匀样本,统计量也不再具有上述零分布。例如单个正态观测、已知方差1但以 \(\widehat\mu=X\) 拟合均值,\(F_{\widehat\mu}(X)=1/2\),KS恒为 \(1/2\),而已知均值时KS随机。这需要针对拟合模型重新校准;使用参数自助法时每个重抽样样本都须重新拟合,并核查其有效条件,不能把这种一般程序称作普遍的有限样本精确检验。
两独立样本的KS使用 \(\sup_x|F_n(x)-G_m(x)|\)。共同连续分布下,可按合并秩路径作有限样本枚举;当两样本量趋于无穷且比例趋于 \((0,1)\) 内的常数时,乘 \(\sqrt{nm/(n+m)}\) 后也趋于布朗桥绝对值上确界。含并列时,条件于合并值的标签置换仍在同分布假设下有效,但其精确分布须保留并列结构。配对样本则不符合这种独立两样本校准。
22.2.7 习题与解答
习题22.2-1 · 中位数零不保证符号秩零分布
差值D以相同概率来自 \(\operatorname{Unif}(-2,0)\) 或 \(\operatorname{Unif}(0,1)\)。取两个独立差值,证明零是唯一中位数,但正符号秩和的期望不是对称零假设下的 \(3/2\)。
两侧各有一半质量且CDF在零附近严格增长,所以零是唯一中位数。两个差值均正或均负各有概率 \(1/4\),此时秩和分别为3与0。异号概率为 \(1/2\);其中正值绝对值大于负值绝对值的概率为 \(P\{\operatorname{Unif}(0,1)>\operatorname{Unif}(0,2)\}=1/4\)。故秩和2的概率为 \(1/8\),秩和1的概率为 \(3/8\),期望为 \(3/4+2/8+3/8=11/8\)。符号与绝对值相关,破坏了符号秩所需的条件公平性,而符号检验的二项零分布仍成立。
习题22.2-2 · 并列秩的精确校准
两组样本量各为2,合并值为 \((1,1,2,2)\)。写出全部标签配置给出的U分布,核对式(22.2-5),并求 \(X=(2,2)\) 的上尾p值。
合并平均秩是 \((1.5,1.5,3.5,3.5)\),任选两项的秩和为3、5、7,配置个数分别为1、4、1。减去 \(2(2+1)/2=3\),U取0、2、4,概率为 \(1/6,4/6,1/6\),均值2、方差 \((4+4)/6=4/3\)。两个并列块各有 \(t=2\),修正式给出 \((4/12)\{5-12/(4\times3)\}=4/3\)。观察到U为4,上尾p值为 \(1/6\);无并列分布表对应另一组秩,不能替代本题的枚举。
习题22.2-3 · CvM球体积的精确核查
核查算例22.2-2中四维球的体积,并说明为什么乘以24即可得到零假设概率;若球越过有序单纯形边界,应如何改变计算?
把前两个坐标作极坐标,半径为 \(\rho\) 时后两个坐标构成面积 \(\pi(r^2-\rho^2)\) 的圆盘。积分 \(\int_0^r2\pi\rho\,\pi(r^2-\rho^2)d\rho=\pi^2r^4/2\)。本题 \(r^2=3/400\),且球完全包含于有序单位单纯形,均匀顺序统计量联合密度为 \(4!=24\),故概率为 \(24\pi^2(3/400)^2/2=27\pi^2/40000\)。若球与边界相交,须对交集积分,完整球体积会多计不可能的顺序配置。
习题22.2-4 · 一个观测揭示两种校准错误
分别考虑完全已知的 \(\operatorname{Bernoulli}(1/2)\) 模型和以单个正态观测拟合均值的模型。计算KS;再与已知连续 \(F_0\) 下的单观测KS分布比较。
Bernoulli观测为0时,经验CDF在零处为1而模型CDF为 \(1/2\);观测为1时,经验CDF在零处为0,因此两种情况都给出 \(D_1=1/2\)。正态拟合均值为观测值时,CDF在该观测处也是 \(1/2\),跳跃两侧的差均为 \(1/2\)。已知连续CDF时,\(U=F_0(X)\) 均匀,\(D_1=\max(U,1-U)\),在 \(1/2\le d\le1\) 上有 \(P(D_1\le d)=2d-1\)。前两种统计量均退化,经典连续零分布则不退化;离散性与同数据拟合分别破坏了所需条件。
关键术语
- 配对差值:按预先匹配关系计算的两个观测之差,独立性应在不同对之间核查。
- 符号检验:依据正负号个数检验相应两侧概率,而不使用差值大小的方法。
- 符号秩检验:以差值绝对值的秩加权符号,并以对称性保证公平条件符号的检验。
- 秩和检验:在独立同分布零假设下比较两组在合并排序中所占秩的方法。
- 平均秩:将并列观测所占连续秩的平均值赋予该块每个观测的约定。
- 概率积分变换:用连续真实CDF变换观测得到均匀变量的概率结论。
- 分布无关性:在指定零假设类及条件下,统计量零分布不依赖类中具体分布的性质。
- KS统计量:经验CDF与指定CDF或另一经验CDF之间的最大绝对差。
- CvM统计量:以指定CDF为积分测度,对经验CDF平方误差作样本量标准化的统计量。
参考文献
- Charles J. Geyer,University of Minnesota Stat 5601,2006:Wilcoxon Signed Rank Test、Wilcoxon Rank Sum Test,具体讨论符号或标签枚举、并列值及零值的条件校准。
- Aditya Guntuboyina,Berkeley Stat 210B,2014:Lecture One,§1.1,陈述连续CDF下KS与CvM分布无关性,并联系均匀经验过程、布朗桥与KS极限CDF。
- NIST/SEMATECH,Kolmogorov–Smirnov Goodness-of-Fit Test,给出跳跃两侧的正确统计量计算式,并说明经典校准要求连续且完全指定的分布。