主要先修:6.6 顺序统计量、10.3 弱收敛、紧性与连续映射、10.6 中心极限定理及其推广、19.1 随机阶与渐近展开。
这是19.1之后的非标准极限分支,不依赖先完成19.3–19.4。顺序统计量接6.6,端点极限再用于22.3说明普通Bootstrap的边界。 查看全书依赖图与分支路线。
19.5.1 固定分位数与可测顺序统计量
6.6节讨论了顺序统计量的有限样本分布。本节研究它们的极限,并区分三个问题:固定中央分位数的估计误差、有限支持端点的估计误差,以及重尾总体最大值的增长。三者的标准化方式和极限分布可能不同。
设 \(X_1,\ldots,X_n\) iid来自分布函数 \(F\),固定 \(p\in(0,1)\)。定义
这里不对相邻值插值;偶数样本的中位数采用下中位数。顺序统计量可写为 \(X_{(j)}=\min_{|I|=j}\max_{i\in I}X_i\),有限个可测函数的最大、最小仍可测,故经验分位数是统计量。重复值也不会使定义失去意义。
以下正则结果要求真分位数唯一,\(F(q)=p\),并在 \(q\) 的某个开邻域有连续密度 \(f\),满足 \(f(q)>0\)。连续性使足够小邻域内密度有正下界和有限上界。概率 \(p\) 不随 \(n\) 趋近零或一;这样的移动尾部分位数须另行分析。
经验分位数与计数之间有精确等价:\(\widehat q_n\le x\) 当且仅当 \(nF_n(x)\ge\lceil np\rceil\)。因此
这个等式对有原子的分布也成立。若 \(F(q-\varepsilon)<p<F(q+\varepsilon)\),两端频率的大数定律给出分位数的一致性;局部正密度保证了这种分离。
19.5.2 分位数CLT与中位数极限
在前述iid、固定 \(p\)、局部连续正密度条件下,
证明。固定任意 \(t\in\mathbb R\),令 \(x_n=q+t/\sqrt n\)、\(a_n=F(x_n)\)、\(r_n=\lceil np\rceil\)。总体分布的一阶展开给出
\(B_n=nF_n(x_n)\) 服从 \(\operatorname{Binomial}(n,a_n)\)。其中心化项是有界独立Bernoulli变量组成的三角阵,每项绝对值不超过一,而总方差 \(na_n(1-a_n)\) 趋于无穷,因此Lindeberg条件成立,标准化和趋于标准正态。于是由精确计数等价,
极限分布函数连续,移动阈值和整数取整误差不会改变该结论。它正是式(19.5-3)的分布函数。证毕。
取 \(p=1/2\),立即得到样本中位数 \(\sqrt n\) 极限方差 \(1/\{4f(q)^2\}\)。这个证明也给出 \(\widehat q_n-q=O_P(n^{-1/2})\),下一步会用它控制随机取值点。分位数CLT的计数证明可核对Jun Shao讲义定理5.10。
19.5.3 局部经验过程控制与Bahadur表示
\(F_n\) 是阶梯函数,不能像光滑总体分布那样直接作普通Taylor展开。要把经验误差从随机的 \(\widehat q_n\) 移回固定的 \(q\),需要以下局部控制。本节给出固定分位数所需弱余项的完整证明。
令 \(\alpha_n(x)=\sqrt n\{F_n(x)-F(x)\}\)。对每个固定有限 \(C>0\),有
证明。在局部密度上界为 \(L\) 的邻域,将 \([q-C/\sqrt n,q+C/\sqrt n]\) 等分为固定的 \(m\) 段,节点记为 \(u_j\)。每个节点的中心化指示增量方差不超过相应区间概率,故
第二式来自 \(F_n,F\) 的单调性:夹在两节点之间的经验增量,被节点增量和总体区间概率夹住。给定误差阈值,先选足够大的固定 \(m\),使最后一项小于阈值的一半;再用Chebyshev不等式和有限节点的并集界,让第一项依概率趋零。先选网格再令样本量增长,得到所需结论。局部 \(F\) 连续,经验过程右连续,上确界可取有理点和端点,因此可测。证毕。
在定理19.5-1的条件下,
证明。分位数CLT给出 \(\sqrt n(\widehat q_n-q)=O_P(1)\)。先对每个固定 \(C\) 使用引理,再由紧性令 \(C\) 增大,得到 \(\alpha_n(\widehat q_n)-\alpha_n(q)=o_P(1)\)。另由一致性,经验分位数以趋于一的概率落在具有连续密度的固定邻域;该区域内样本值无重复,故以趋于一的概率有 \(F_n(\widehat q_n)=r_n/n\),超出 \(p\) 的量不超过 \(1/n\)。于是
最后的总体Taylor余项使用一致性和 \(\sqrt n\) 紧性。移项并除以正的 \(f(q)\),便得正确符号 \(p-F_n(q)\) 和式(19.5-8)。证毕。
主项是有界、零均值的影响函数平均,不要求原始 \(X_i\) 有有限方差。若 \(F_n(q)>p\),达到比例 \(p\) 的经验位置向左移动,主项应为负。Bartlett讲义Lecture 20从函数型delta方法得到同一符号;Dong与Nakayama作者稿§4区分了弱表示与更强的几乎处处余项。本节结论是固定 \(p\) 的 \(o_P(n^{-1/2})\),没有声称整个尾部分位数区间的一致速率。
19.5.4 中位数标准误与重尾中央分位数
设 \(X_i\) iid服从 \(N(\mu,\sigma^2)\),中位数为 \(\mu\),且 \(f(\mu)=1/(\sigma\sqrt{2\pi})\)。代入 \(p=1/2\),得到
取已知 \(\sigma=2,n=100\),渐近标准误为 \(0.25066283\)。若假设观测下中位数为 \(0.3\),以标准正态临界值 \(1.95996398\) 计算的95%渐近区间约为 \([-0.19129011,0.79129011]\)。样本中位数是顺序统计量;正态输入不使它在有限样本下精确正态。相应样本均值的标准误为 \(0.2\),二者在此正态模型中的渐近方差之比为 \(\pi/2\)。
一般未知分布下,标准误还需要局部密度估计;只有当 \(\widehat f(\widehat q_n)\xrightarrow P f(q)>0\) 等条件成立时,才能据此作随机标准化。仅有分位数一致性,不够保证插入的密度估计正确。
固定中央分位数的条件是局部的。例如标准Cauchy密度 \(f(x)=1/\{\pi(1+x^2)\}\) 没有有限均值、方差,却在中位数零处满足所有局部条件;其样本中位数仍有 \(\sqrt n\) 正态极限,极限方差为 \(\pi^2/4\)。重尾会影响均值或极值的极限,不能据此说所有分位数CLT都失效。
19.5.5 Uniform最大值的 \(n\) 速率
设 \(X_i\) iid服从 \(U(0,\theta)\),固定 \(\theta>0\),令 \(M_n=\max_iX_i\)。这里估计的是支持端点,而不是固定 \(p<1\) 的中央分位数。由独立性,\(P(M_n\le m)=(m/\theta)^n\),\(0\le m\le\theta\)。
标准化端点缺口 \(W_n=n(\theta-M_n)/\theta\) 满足
这里指数分布的率为一;未除以 \(\theta\) 的 \(n(\theta-M_n)\) 极限为 \(\theta E\),率为 \(1/\theta\)。
证明。当 \(0\le t\le n\) 时,缺口超过 \(t\) 等价于所有观测都小于 \(\theta(1-t/n)\),连续Uniform分布给出式(19.5-11)的概率。对每个固定非负 \(t\),\(n\log(1-t/n)\to-t\),故生存函数趋于 \(e^{-t}\);负值处生存函数恒为一。这确定了连续的指数极限分布。证毕。
因此端点缺口为 \(O_P(n^{-1})\),而
\(\sqrt n\) 标准化在这里给出退化极限。正确标准化后仍有随机极限,但它是单侧指数分布,不是正态分布;这是17.4节端点模型不满足通常信息界条件的另一表现。
取 \(n=20\),假设观察到最大值 \(M_n=2.85\),端点 \(\theta\) 未知。比例 \(R=M_n/\theta\) 的精确分布函数为 \(r^{20}\),\(0\le r\le1\)。因此对 \(\alpha=0.05\),
理由是 \(M_n\le\theta\) 几乎必然,而上界覆盖等价于 \(R\ge\alpha^{1/n}\),其概率恰为 \(1-\alpha\)。得到区间 \([2.85,3.31052110]\),这是Uniform模型下的精确有限样本覆盖。指数近似则描述标准化缺口分布;例如 \(t=1\) 时,\(n=20\) 的生存概率为 \(0.35848592\),极限值 \(e^{-1}=0.36787944\),二者并不完全相同。
19.5.6 正密度、原子与尾部条件失效时
密度为零时,分布在分位数附近可能以更高次幂变化。取 \([-1,1]\) 上密度 \(f(x)=3x^2/2\),区间内 \(F(x)=(1+x^3)/2\),中位数唯一且为零,但 \(f(0)=0\)。在 \(x_n=t n^{-1/6}\) 处,\(F(x_n)=1/2+t^3/(2\sqrt n)\)。重复二项计数证明,得到
误差速率变成 \(n^{-1/6}\),极限也不是正态;不能把正密度公式的零分母解释为“方差无穷的正态分布”。
原子会产生另一机制。若 \(P(X=0)=0.6,P(X=1)=0.4\),总体中位数为零,样本中位数以趋于一的概率恰好等于零,因此中心化的 \(\sqrt n\) 极限退化。若两个概率都为 \(0.5\),广义逆仍约定 \(q=0\),但奇数样本中位数为零与一的概率各为一半,甚至不依概率收敛到这一广义逆值。这里 \(p\) 落在跳跃端点与平坦段上,正则分位数的唯一交点条件已失去。
尾部极值还取决于尾概率的衰减。若 \(P(X>x)=x^{-a}\),\(x\ge1,a>0\),则对固定 \(x>0\),当 \(n^{1/a}x\ge1\) 时
极限在非正值处为零,是Fréchet分布。即便 \(a=2\) 时最大值尺度恰为 \(\sqrt n\),极限也不是高斯。中央分位数、端点缺口与尾部最大值必须分别检查;“存在渐近分布”并不等于“渐近正态”。
19.5.7 习题与解答
习题19.5-1 检查Bahadur主项的符号
设总体为 \(N(0,4)\),样本量100,观察到 \(F_n(0)=0.54\)。用Bahadur主项近似样本中位数,计算渐近标准误,并说明结果能否被当作有限样本精确等式。
真中位数为零,密度为 \(1/(2\sqrt{2\pi})\),所以主项为 \((0.5-0.54)2\sqrt{2\pi}\approx-0.20053026\)。渐近标准误为 \(2\sqrt{\pi/(2\cdot100)}\approx0.25066283\)。经验比例在零处已经超过一半,因此样本达到一半的位置应向左,负号与这个判断一致。样本分位数还由具体顺序统计量确定,经验比例只给出其一阶近似;余项仅按概率小于 \(n^{-1/2}\) 的阶控制,不能要求这一次样本的值精确等于主项。
习题19.5-2 无偏端点估计仍有非正态极限
在Uniform模型中令 \(T_n=(n+1)M_n/n\)。证明它无偏,计算方差,并求 \(n(T_n-\theta)/\theta\) 的极限分布。
最大值密度积分给出 \(\mathbb E M_n=n\theta/(n+1)\)、\(\mathbb E M_n^2=n\theta^2/(n+2)\),故放大后的估计无偏,方差为 \(\theta^2/\{n(n+2)\}\)。令本节的标准化缺口为 \(W_n\),直接代数得到 \(n(T_n-\theta)/\theta=1-(1+1/n)W_n\),由Slutsky定理趋于 \(1-E\),其中 \(E\sim\operatorname{Exp}(1)\)。极限均值为零且方差为一,但支持限于不超过一的值,因此不是标准正态。无偏性与非退化方差均不能替代分布证明。
习题19.5-3 原子内部与跳跃端点
对取值零、一的分布,分别考察 \(P(X=0)=0.6\) 和 \(P(X=0)=0.5\)。在奇数样本量下,证明前者样本中位数趋于零,后者对广义逆中位数零不一致。
记零值个数为 \(B_n\),样本中位数为零当且仅当 \(B_n\ge(n+1)/2\)。第一种分布下 \(B_n/n\to0.6\),于是这个事件的概率趋于一,中位数趋于零,并以趋于一的概率与总体值完全相同。第二种分布下二项分布关于 \(n/2\) 对称,奇数样本无中心并列,所以两侧概率各为一半。中位数为一的概率始终为一半,不能收敛到零。概率一半处的总体CDF有平坦段,广义逆的端点约定没有消除经验逆的波动。
习题19.5-4 同一Pareto总体的中位数和最大值
设 \(P(X>x)=x^{-2}\),\(x\ge1\)。求总体中位数及样本中位数的正态极限方差,再求 \(M_n/\sqrt n\) 的极限分布,并比较两种尺度的含义。
分布函数为 \(1-x^{-2}\),解一半概率得到 \(q=\sqrt2\)。密度为 \(2x^{-3}\),在中位数处等于 \(1/\sqrt2\),因此 \(\sqrt n(\widehat q_n-\sqrt2)\Rightarrow N(0,1/2)\)。最大值的分布则为 \(\mathbb P(M_n/\sqrt n\le x)\to e^{-x^{-2}}\),\(x>0\),非正值处为零。它是单侧Fréchet极限。中位数误差随 \(n^{-1/2}\) 缩小,而最大值本身随 \(\sqrt n\) 增长;二者即使用到同一根号因子,中心化对象和极限族仍完全不同。
关键术语
- 广义逆分位数:用分布函数首次达到指定概率的位置定义分位数,可处理跳跃和重复值。
- 经验分位数:经验分布的广义逆,本节取 \(X_{(\lceil np\rceil)}\)。
- 局部正密度:保证总体CDF在目标分位数附近以非零的一阶斜率变化。
- 局部经验过程控制:保证缩小邻域内中心化经验增量依概率消失,从而允许随机取值点替换。
- 弱Bahadur表示:用固定分位数处的经验比例误差表达分位数误差,余项为 \(o_P(n^{-1/2})\)。
- 影响函数:本节为 \(\{p-\mathbf1_{\{X\le q\}}\}/f(q)\),其平均构成一阶随机主项。
- 端点缺口:有限支持上端点与样本最大值之差,Uniform模型中尺度为 \(n^{-1}\)。
- 非标准极限:正则 \(\sqrt n\) 正态框架以外的速率或极限族,需从相应模型推导。
- Fréchet极限:重尾最大值的一类极限,本节分布函数为 \(e^{-x^{-a}}\),\(x>0\)。
参考文献
- Jun Shao,UW-Madison Stat 710,Lecture 18:Sample Quantiles and Their Asymptotic Properties,2009,定理5.10及其证明。核对固定分位数的二项计数CLT。
- Peter Bartlett,UC Berkeley Stat 210B,Lecture 20:Quantile Estimates,2013。逆分位数映射的负号导数、固定分位数表示及正态极限。
- Hui Dong、Marvin K. Nakayama,A Tutorial on Quantile Estimation via Monte Carlo,NJIT作者稿,§4。正确的 \(p-F_n(q)\) 表示、弱余项与强余项的区别;本节对iid经验分位数给出有限网格的局部控制证明。
本节的帕累托最大值例子进一步推广为正则变化尾的Fréchet极限;尾指数估计和极端分位数在19.9–19.10继续。 10.8 重尾和、稳定分布与极值极限 · 专题路线。