19.9节估计尾指数并讨论阈值选择。本节把这些量用于超越概率、极端分位数和条件尾均值的计算。先从正则变化的定义证明条件超越极限,再介绍一般阈值超越定理,最后核对模型外推的误差。以下以独立同分布、连续右尾观测为统计背景;概率公式本身描述单个随机变量的尾部,样本独立性则用于计数、似然和估计量的渐近分析。
19.10.1 从正则变化到条件超越分布
取阈值 \(u>0\),只看 \(X>u\) 的观测,并记超额为 \(Y_u=X-u\)。研究条件分布时,必须除以超越阈值的概率,而非把原分布直接平移:
若 \(\overline F(t)=t^{-\alpha}L(t)\),其中 \(\alpha>0\),\(L\) 为最终正的慢变化函数,则对每个固定 \(y\ge0\),
证明。把正则变化表示代入比值,得 \((1+y)^{-\alpha}L(u(1+y))/L(u)\)。由于 \(1+y\) 是固定正数,慢变化定义使第二个因子趋于一。若 \(y=0\),条件概率恒为一,与极限值一致;负的超额取值没有概率质量。相应的极限分布函数在整个实轴连续,因此也得到条件分布的弱收敛。这个证明只保证固定 \(y\) 的渐近关系,不能直接允许 \(y\) 随样本量任意快地增加。证毕。
若原分布严格为帕累托,\(\overline F(t)=(x_{\min}/t)^\alpha\),则 \(L\) 为常数,以上比值对每个 \(u\ge x_{\min}\) 都精确成立。归一化超额极限与帕累托精确超额应区分:前者是提高阈值后的渐近结论,后者不含渐近误差。
19.10.2 广义帕累托的形状、尺度与支持
广义帕累托分布(generalized Pareto distribution,GPD)的形状参数为 \(\xi\in\mathbb R\),尺度参数为 \(\sigma>0\)。其生存函数为
当 \(\xi\ge0\) 时,支持向右延伸到无穷;当 \(\xi<0\) 时,支持为 \(0\le y\le-\sigma/\xi\),在右端点及其右侧把生存函数延拓为零。在支持左侧,生存函数为一。对固定 \(y\),由 \(\log(1+\xi y/\sigma)/\xi\to y/\sigma\),可得 \(\xi\to0\) 时的指数分布极限。这里“形状为零”不等于原观测服从正态分布。
与式(19.10-2)对照,在正则变化的正尾情形有 \(\xi=1/\alpha>0\)。归一化超额 \((X-u)/u\) 的极限尺度为 \(\xi\);未归一化超额的尺度可选成 \(\sigma_u\sim\xi u\)。严格帕累托更强,满足精确关系
一般 GPD 也包括零形状和负形状,它们无需具有正的幂律尾指数。例如,负形状模型有有限右端点,因此不能把 \(\xi=1/\alpha\) 的正尾解释搬到所有形状参数上。
19.10.3 一般阈值超越定理与条件似然
标准广义极值分布(generalized extreme value distribution,GEV)用形状参数 \(\xi\) 定义:
正形状时,在 \(x\le-1/\xi\) 处把分布函数延拓为零;负形状时,在 \(x\ge-1/\xi\) 处延拓为一。零形状是 Gumbel 分布;正形状对应10.8节的 Fréchet 型极限,负形状具有有限右端点。若存在尺度 \(a_n>0\) 与中心 \(b_n\),使独立同分布样本最大值 \(M_n\) 满足
便称 \(F\) 属于该 GEV 的最大值吸引域。这是关于分布尾部的额外条件;它不由独立同分布假设自动推出。下面的阈值超越定理使用同一个形状参数,所需一般吸引域理论明确引用参考文献[1]。
令 \(x_F=\sup\{x:F(x)<1\}\) 为右端点,允许为无穷。若 \(F\) 属于形状参数 \(\xi\) 的广义极值分布的最大值吸引域,则存在正尺度函数 \(\sigma(u)\),使条件超额分布函数 \(F_u(y)=P(X-u\le y\mid X>u)\) 满足
反向也成立。这一等价关系要求最大值吸引域条件;“观测独立同分布”本身不保证任意分布的超额都趋于 GPD。定理及其长证明参见参考文献[1]的极值吸引域部分。本节完整证明的是正则变化的固定倍率特例,不重述一般吸引域证明。
阈值超越方法(peaks over threshold,POT)取 \(u\) 以上的观测拟合条件模型。固定阈值下,记 \(p_u=P(X>u)\),超越数为 \(m\),则可估计 \(\widehat p_u=m/n\)。在独立样本中,\(m\) 服从二项分布,因此这是整个样本提供的计数信息;条件 GPD 拟合只使用 \(m\) 个超额。密度为
其支持与式(19.10-3)一致。密度已按条件分布归一化:它等于生存函数的负导数,生存函数从一降到零,因而密度在支持内积分为一。若使用原分布密度而漏掉除以 \(p_u\),得到的就不是超额的条件似然。
对超额 \(y_1,\ldots,y_m\),条件对数似然在参数支持约束内为
拟合时必须同时保证 \(\sigma>0\) 和所有 \(1+\xi y_i/\sigma>0\)。负形状的端点随参数变化,不能无条件援引固定支持下的常规似然理论。上式是给定超越数后的条件似然;固定阈值的完整尾部模型还可以加入超越计数的二项似然。如果阈值经数据筛选,应把选择步骤纳入不确定性分析。
提高阈值会减少分布主体对尾部近似的影响,也会减少超越数。一般渐近理论常要求阈值随样本量提高,同时期望超越数趋于无穷。一个固定的“最高若干百分比”不能代替这两项条件。19.9节的阈值诊断在这里继续适用。
19.10.4 从超越概率反解极端分位数
现在先假设阈值以上精确采用 GPD 尾部模型,以便把代数推导与近似误差分开。对 \(x\ge u\),整个分布的尾概率为
高分位数公式的推导。设 \(0<p<p_u\),目标为 \(q_{1-p}=F^{-1}(1-p)>u\)。当 \(\xi\ne0\),把尾概率设为 \(p\),得 \(p/p_u=(1+\xi(q_{1-p}-u)/\sigma)^{-1/\xi}\)。两边取负 \(\xi\) 次方,再解出分位数;零形状则对指数尾取对数:
负形状下,随着 \(p\downarrow0\),结果趋近有限端点 \(u-\sigma/\xi\),不会无限增长。正形状的增长则是尾概率倍率的幂函数。若模型只是阈值处的近似,上式也只是分位数近似;反解尾概率会放大模型与参数误差。证毕。
统计估计把 \(p_u,\xi,\sigma\) 换成相应估计值,但尾概率估计、形状估计和尺度估计都参与结果。在严格帕累托情形,由 \(\sigma=\xi u\),公式简化为 \(q_{1-p}=u(p_u/p)^\xi\)。这正是下面 Weissman 外推的来源。
19.10.5 Weissman 外推与误差的对数放大
设连续正尾样本的顺序统计量为 \(X_{(1)}\le\cdots\le X_{(n)}\),取中间阶数 \(k\),阈值 \(T_n=X_{(n-k)}\)。用 \(k/n\) 估计阈值超越概率,用19.9节的 Hill 估计量 \(H_k\) 估计 \(\xi\),得到
这称为 Weissman 估计。它在正则变化的正尾下使用,不能直接用于负形状的有限端点模型。严格帕累托且参数已知时,底层外推关系精确;一般分布还需控制尾部分位数函数的慢变化误差。
令 \(U(t)=F^{-1}(1-1/t)\),\(\xi>0\)。把估计误差分成阈值、极值指数和外推近似三项,有精确恒等式
因此 \(H_k\to\xi\) 并不能单独保证目标分位数的一致性。当外推倍数也增长时,指数误差会被 \(\log R_n\) 放大;此外,正则变化只给固定倍率下的极限,第三项也要单独控制。即使在理想帕累托模型下,若 \(H_k-\xi\) 的波动为 \(k^{-1/2}\) 量级,而 \(R_n=\exp(\sqrt k)\),第二项仍保留非退化随机波动。
一个常用的二阶条件以最终非零且符号固定的 \(A(t)\to0\)、\(\rho<0\) 描述尾部分位数的趋近速度:
在这一二阶框架中,常用渐近结果还规定 \(k\to\infty\)、\(k/n\to0\)、\(\sqrt k A(n/k)\) 有有限极限,以及外推倍数 \(R_n\to\infty\)、\(\log R_n=o(\sqrt k)\)。这些条件让 Hill 的随机误差在乘上外推距离后仍趋于零,并借二阶正则变化的统一界控制第三项。相关证明可见参考文献[2]附录与参考文献[1]第4章;本节不把这一组条件宣称为所有模型中的必要条件。对于 \(\rho=0\) 或不同估计方法,需使用对应的偏差与外推条件。
19.10.6 条件尾均值:先检查是否有限
对连续右尾,定义条件尾均值为 \(\operatorname{ES}_{1-p}=E[X\mid X>q_{1-p}]\),这里只把它视为分布的数学泛函。它平均整个阈值以外的尾部,比单个高分位数对远尾更敏感。设阈值以上严格采用 GPD,取 \(q=q_{1-p}>u\)。
阈值稳定性与尾均值公式的推导。令 \(v=q-u\),用两个 GPD 生存概率相除,得到
因此抬高阈值后形状不变,尺度按上式调整。零形状时尺度保持为 \(\sigma\)。用非负随机变量的尾积分公式,剩余超额的期望是生存函数积分。直接积分得
其中 \(\xi\ge0\) 时 \(z_{\max}=\infty\),负形状时 \(z_{\max}=-\sigma_q/\xi\);零形状的指数积分也给出 \(\sigma_q\)。把剩余超额加回阈值,得到
若 \(\xi\ge1\),正形状 GPD 的生存函数衰减幂次不大于一,尾积分发散,因此该模型下 \(\operatorname{ES}_{1-p}=\infty\)。不能把 \(\xi>1\) 代入有限均值公式而接受一个负值。证毕。
这一发散判断针对严格 GPD 尾部模型。对一般正则变化分布,\(\xi=1\) 即 \(\alpha=1\) 的边界还要检查慢变化因子;例如 \(x^{-1}(\log x)^{-2}\) 型尾部的一阶尾积分可以有限。固定倍率的 POT 近似本身不保证尾积分或矩收敛。严格帕累托则没有这一歧义:\(\alpha>1\) 时条件尾均值为 \(\alpha q/(\alpha-1)\),\(\alpha\le1\) 时为无穷。
19.10.7 两个可核对的帕累托算例
令 \(x_{\min}=1,\alpha=3/2\),目标尾概率 \(p=0.001\),取 \(u=10\)。先计算 \(p_u=10^{-3/2}\approx0.03162278\),\(\xi=2/3\),\(\sigma=20/3\)。以下使用已知的分布参数,尚未加入样本估计误差。
第一种方法,直接反解原分布尾概率:\(q=p^{-2/3}=100\)。第二种方法,使用 GPD 分位数,尾概率倍率 \(p_u/p=10^{3/2}\),其 \(2/3\) 次方为十,故 \(q=10+(20/3)/(2/3)\,(10-1)=100\)。第三种方法,使用 Weissman 的底层外推关系:\(q=u(p_u/p)^\xi=10\times10=100\)。三种方法一致,因为此处为严格帕累托且参数已知。
抬高到 \(q=100\) 后,尺度为 \(\sigma_q=20/3+(2/3)(100-10)=200/3\)。因此条件尾均值为 \(100+(200/3)/(1/3)=300\),也等于 \(\alpha q/(\alpha-1)=3\times100\)。分位数一百是一个概率位置,条件尾均值三百是该位置以外观测的平均,二者不是同一个量。
令 \(x_{\min}=1,\alpha=2\),目标尾概率 \(p=0.01\),取 \(u=5\)。此时 \(p_u=1/25=0.04\),\(\xi=1/2\),\(\sigma=5/2\),目标分位数为
直接用原尾概率 \(q^{-2}=0.01\) 也得到十。该分布的一阶矩有限,二阶矩无限,条件尾均值二十仍有定义。10.8节计算过这一分布的样本和:在 \(\sqrt{n\log n}\) 尺度下可以有高斯极限。这些结论涉及不同泛函和不同矩条件,不能用一句“重尾不能做统计”代替各自的计算。
19.10.8 估计误差、依赖与截断
固定阈值下,超越数的标准差为 \(\sqrt{np_u(1-p_u)}\);尾概率越小,有效超越数越少,计数的相对误差便越大。分位数外推还把极值指数误差乘上对数距离。条件尾均值进一步含有 \(1/(1-\xi)\),因此当形状接近一时,即使有限均值模型成立,也可能对形状估计的小变化敏感。三种目标应分别报告其估计对象、阈值和模型条件。
有时间依赖或空间依赖的样本,超越会聚集,二项计数方差与独立条件似然不再直接适用。观测被右删失、测量上限截断,或真实分布具有有限端点时,样本中最远的尾部信息也会改变;这时无限支持幂律模型的外推需重新检验。若通过重抽样评估完整拟合流程,应在每次重抽样中重新选择阈值并重拟合参数,而非只固定原来的拟合曲线。普通自助法对某些极端统计量可能不一致;是否可用,要依据具体统计量、阈值序列与重抽样方法的理论条件判断。
19.10.9 习题与详解
习题 19.10.1 零形状的分位数与尾均值
阈值 \(u=4\) 以上严格采用 GPD 模型,\(p_u=0.1,\xi=0,\sigma=3\)。求尾概率 \(p=0.001\) 对应的分位数和条件尾均值。
零形状是指数超额,分位数公式需使用对数版本,得到 \(q=4+3\log(100)\approx17.8155\)。指数超额抬高阈值后尺度不变,所以条件尾均值为 \(q+3\approx20.8155\)。直接在非零形状公式中令形状等于零会出现除零,应取极限或使用已经推导的指数公式。这里的原分布只规定了阈值以上的尾部,并不要求四以下也服从同一指数模型。
习题 19.10.2 负形状的有限端点
设 \(u=10,p_u=0.2,\xi=-1/2,\sigma=4\)。求整体分布的尾部右端点,以及 \(p=0.002\) 对应的分位数和条件尾均值。
超额的右端点是 \(-\sigma/\xi=8\),所以原观测右端点为十八。尾概率倍率为一百,其负二分之一次方为十分之一。分位数为 \(10-8(0.1-1)=17.2\),仍位于端点以下。抬高阈值后的尺度为 \(4-(17.2-10)/2=0.4\),故条件尾均值为 \(17.2+0.4/1.5\approx17.4667\)。随着尾概率趋于零,两者均趋近十八,不能继续套用无有限端点的幂律增长公式。
习题 19.10.3 无穷尾均值不是负的尾均值
严格 GPD 尾部的 \(\xi=1.2,\sigma=2\)。分位数 \(q>u\) 已有定义,某人代入尾均值公式后得到负数。指出错误并证明该模型的尾均值无限。
有限均值公式在推导中要求形状小于一,给定形状不满足该条件。抬高阈值后尺度仍为正,剩余超额的生存函数在无穷远与正数乘以 \(z^{-1/1.2}=z^{-5/6}\) 渐近等价。该幂函数从任何正数积分到无穷都会发散,故剩余超额的期望以及条件尾均值都是无穷。高分位数仍可有限,因为它只固定一个正尾概率的位置,均值则要对全部更远尾部积分。
习题 19.10.4 Hill 一致性为何不足以保证任意远外推?
假设理想帕累托模型中 \(\sqrt k(H_k-\xi)\Rightarrow N(0,\xi^2)\),阈值相对误差趋于零。比较 \(R_n=\exp(k^{1/4})\) 与 \(R_n=\exp(\sqrt k)\) 时的极值指数误差项。
第一个外推倍数使 \((H_k-\xi)\log R_n=k^{-1/4}\sqrt k(H_k-\xi)\) 依概率趋于零,故指数误差这一部分消失。第二个外推倍数则使该项恰为 \(\sqrt k(H_k-\xi)\),其极限为非退化正态变量。对数误差未消失,分位数倍率也不会收敛到一。这里用理想帕累托使模型外推项为零,仍能看到增长距离造成的问题;一般模型还必须检查第三项的二阶近似误差。
关键术语与本专题出口
条件超额:给定超越原阈值后,观测减去阈值所得的随机量。广义帕累托分布:形状和尺度共同确定的超额模型,包含幂律、指数和有限端点三类支持。POT:使用阈值以上全部超额拟合条件尾部的方法。Weissman 估计:由中间分位数和极值指数外推更高分位数。二阶条件:控制正则变化近似趋近速度的条件。条件尾均值:超过指定分位数后的条件期望,其存在性需要另外检查。
本专题依次完成了分布定义、矩条件与极限理论、模型拟合、尾指数和阈值、极端分位数及尾均值。实际拟合可返回 19.8节比较候选分布,并结合 19.9节检查阈值变化。数学推导给出的是在已列明条件下的概率关系与估计方法。
参考文献与证明范围
- de Haan, L., and Ferreira, A. Extreme Value Theory: An Introduction. Springer, 2006,第1章“Limit Distributions and Domains of Attraction”及第4章“Extreme Quantile and Tail Estimation”。出版社页面与目录。本节引用一般阈值超越定理及极端分位数的二阶渐近框架;正则变化特例、分位数反解与条件尾均值在正文完整推导。
- Allouche, M., El Methni, J., and Girard, S. “A refined Weissman estimator for extreme quantiles.” Extremes 26, 545–572, 2023,附录A。论文及公开证明。参见对数外推误差的分解、二阶正则变化统一界与外推距离条件;本文未复制该论文的改进估计法。
- Nair, J., Wierman, A., and Zwart, B. The Fundamentals of Heavy Tails: Properties, Emergence, and Estimation. Cambridge University Press, 2022,尾部估计部分。作者页面、目录与公开版本入口。用于衔接正则变化、Hill估计与阈值选择。