第10章 · 收敛、特征函数与极限定理

10.8 重尾和、稳定分布与极值极限

Stable Sums and Heavy-tailed Extremes
最大值与和对尾部有不同的极限规律。本节完整证明正则变化尾部的 Fréchet 最大值极限,计算帕累托最大值的精确分位数;对重尾和,明确引用稳定吸引域定理的双尾平衡、尺度与截断中心条件,并核对改用均值中心时的极限位移。柯西均值和尾指数为二的帕累托分别说明:均值可不收敛,方差无限也可在对数修正尺度下出现高斯极限。

上一节用正则变化描述尾部,并用尾指数判断矩是否存在。现在固定一列独立同分布的观测,分别研究它们的最大值与和。两者都受到尾部影响,却保留不同的信息:最大值只取最大的观测,和则累积所有观测,并且可能包含正负抵消。下面凡讨论样本极限,均明确假设 \(X_1,X_2,\ldots\) 独立同分布;具有相同边缘分布的相关序列不能直接套用这些结论。

10.8.1 正则变化尾部与最大值

记 \(F\) 为 \(X_1\) 的分布函数,\(\overline F=1-F\),并先假设 \(X_1\ge0\)。选择正数 \(a_n\),使尺度上的期望超越次数趋于一:

\[M_n=\max_{1\le j\le n}X_j,\qquad n\overline F(a_n)\longrightarrow1.\]
(10.8-1)

这一选择可由尾部广义分位数给出。若尾部正则变化且无有限右端点,其渐近性质保证可选到上述 \(a_n\);不需要 \(F\) 具有密度。对纯帕累托分布,归一化常数可以直接写出,稍后计算。

定理 10.8.1 独立最大值的 Fréchet 极限

若 \(X_j\ge0\) 独立同分布,\(\overline F(t)=t^{-\alpha}L(t)\),其中 \(\alpha>0\),\(L\) 为最终正的慢变化函数,则上述归一化下

\[P(M_n/a_n\le x)\longrightarrow G_\alpha(x),\qquad G_\alpha(x)=\begin{cases}\exp(-x^{-\alpha}),&x>0,\\0,&x\le0.\end{cases}\]
(10.8-2)

\(G_\alpha\) 称为 Fréchet 分布函数。本节始终用 \(\alpha\) 表示尾指数;极值理论中常用的极值指数为 \(\xi=1/\alpha\)。

证明。尾部无界和归一化条件推出 \(a_n\to\infty\)。固定 \(x>0\),利用上一节的正则变化定义,有

\[n\overline F(a_nx)=n\overline F(a_n)\, \frac{\overline F(a_nx)}{\overline F(a_n)} \longrightarrow x^{-\alpha}.\]
(10.8-3)

置 \(u_n=\overline F(a_nx)\),则 \(u_n\to0\),而 \(nu_n\to x^{-\alpha}\)。独立性给出全部观测同时不超过阈值的概率,再用对数展开:

\[P(M_n\le a_nx)=(1-u_n)^n,\qquad n\log(1-u_n)=-nu_n+O(nu_n^2)\longrightarrow-x^{-\alpha}.\]
(10.8-4)

因为 \(nu_n^2=(nu_n)u_n\to0\),取指数就得到所需极限。当 \(x<0\) 时概率恒为零;当 \(x=0\) 时,概率为 \(P(X_1=0)^n\),它趋于零,因为无界尾部保证 \(P(X_1=0)<1\)。极限分布函数处处连续,因此得出弱收敛。证毕。

证明的主要步骤是把单次超越概率变为所有观测均未超越的概率,再计算后者的极限。相关样本中,第一步的乘积公式会失效;即使边缘尾指数相同,也可能需要另一个极限常数或不同条件。

10.8.2 帕累托最大值的精确分布与分位数

例 10.8.1 100 个帕累托观测的最大值

设 \(\overline F(t)=(x_{\min}/t)^\alpha\),\(t\ge x_{\min}\)。取 \(a_n=x_{\min}n^{1/\alpha}\),恰好有 \(n\overline F(a_n)=1\)。由独立性,归一化最大值在有限样本下的分布函数为

\[P(M_n/a_n\le x)= \begin{cases}(1-x^{-\alpha}/n)^n,&x\ge n^{-1/\alpha},\\0,&x<n^{-1/\alpha}.\end{cases}\]
(10.8-5)

欲求最大值的 \(r\) 分位数,\(0<r<1\),先令 \(P(M_n\le m)=r\),对两边取 \(n\) 次方根,再解出阈值:

\[m_{n,r}=x_{\min}(1-r^{1/n})^{-1/\alpha} \sim x_{\min}\left(\frac{n}{-\log r}\right)^{1/\alpha}.\]
(10.8-6)

取 \(x_{\min}=1,\alpha=2,n=100,r=1/2\)。此时 \(a_n=10\),而 \(2^{-1/100}\approx0.99309250\),故精确中位数为 \((1-2^{-1/100})^{-1/2}\approx12.0320\)。Fréchet 近似为 \(10/\sqrt{\log2}\approx12.0112\)。这里求的是随机最大值的中位数,并非最大值的期望,也不是原分布的中位数。

帕累托最大值的有限样本分布接近 Fréchet 分布 尾指数固定为一,展示样本数十、一百和极限分布函数。横轴是最大值除以样本数后的值,纵轴为不超过该值的概率。 尾指数为 1:归一化最大值的分布函数 00.510123 归一化最大值 样本 10样本 100极限
图 10.8-1 按式(10.8-5)及其极限绘制。三条曲线使用相同的尾指数与归一化规则;尾指数改变时,归一化常数和极限曲线也随之改变。

10.8.3 和的稳定吸引域:条件与中心化

最大值的 Fréchet 极限适用于所有 \(\alpha>0\)。和的结论需要另外区分尾指数范围,并指定左右尾的比例。以下定理引用 Durrett《Probability: Theory and Examples》第五版定理 3.8.2 及其证明中的式(3.8.9);本书保留同一截断中心,直接用指示函数形式写出补偿项。一般定理的长证明涉及截断项控制与极限跳跃测度,此处不把它省略成有限方差 CLT 的直接推论。

定理 10.8.2 非高斯稳定吸引域定理(引用)

设 \(X_j\) 为实值独立同分布变量,\(0<\alpha<2\),并且存在最终正的慢变化函数 \(L\) 以及 \(p,q\ge0\)、\(p+q=1\),满足

\[P(|X_1|>t)=t^{-\alpha}L(t),\qquad \frac{P(X_1>t)}{P(|X_1|>t)}\longrightarrow p,\qquad \frac{P(X_1<-t)}{P(|X_1|>t)}\longrightarrow q.\]
(10.8-7)

选择 \(a_n>0\) 使 \(nP(|X_1|>a_n)\to1\),令

\[S_n=\sum_{j=1}^nX_j,\qquad b_n=nE[X_1\mathbf1_{\{|X_1|\le a_n\}}],\qquad \frac{S_n-b_n}{a_n}\Rightarrow Y.\]
(10.8-8)

极限 \(Y\) 的特征函数用下述约定唯一确定:

\[E e^{itY}=\exp\left\{ \int_{\mathbb R\setminus\{0\}} \bigl(e^{itx}-1-itx\mathbf1_{\{|x|\le1\}}\bigr)\,\nu(dx) \right\},\]
(10.8-9)
\[\nu(dx)=\alpha p\,x^{-\alpha-1}\mathbf1_{\{x>0\}}\,dx +\alpha q\,|x|^{-\alpha-1}\mathbf1_{\{x<0\}}\,dx.\]
(10.8-10)

\(\nu\) 称为 Lévy 测度。上述表示没有额外的漂移项;这正对应式(10.8-8)中的截断中心,不能换中心后仍保留同一个特征函数。极限是非退化的 \(\alpha\) 稳定分布,但这一位置约定并不总让它成为严格稳定分布。

补偿积分在零点附近存在,因为 \(e^{itx}-1-itx=O(x^2)\),而 \(\int_{|x|\le1}x^2\nu(dx)<\infty\) 恰好需要 \(\alpha<2\)。在远离零点处,\(\nu\) 的总质量有限,且 \(e^{itx}-1\) 有界。对于 \(\alpha\ge1\),若在零点附近直接积分 \(e^{itx}-1\),线性部分一般不能绝对积分。对称情形可以发生抵消,但它不能代替一般双尾模型中的补偿。

稳定的含义是:若若干独立变量都与 \(Y\) 同分布,它们的和经过确定的缩放与平移后,仍与 \(Y\) 同分布;严格稳定进一步要求平移为零。对 \(\alpha\ne1\),可适当平移得到严格稳定版本。对 \(\alpha=1\) 且左右尾不平衡的分布,缩放还会引入对数位置项,不能仅靠一次固定平移消除。本文使用积分表示,就是为了避免不同参数化下的符号与位置混淆。

纯幂律给出 \(a_n\) 与 \(n^{1/\alpha}\) 成比例;一般正则变化还会带有慢变化因子,不能把所有重尾和都固定除以 \(n^{1/\alpha}\)。同样,双尾平衡条件是定理的一部分。只有 \(P(|X_1|>t)\) 的尾指数,并不足以确定极限的偏斜方向。

10.8.4 用均值中心化时,极限位置会改变

当 \(1<\alpha<2\) 时,绝对一阶矩有限,可令 \(\mu=EX_1\)。由尾积分和正则变化的积分渐近式,左右尾均值在尺度 \(a_n\) 之外的差,产生以下确定性位移:

\[\frac{n\mu-b_n}{a_n}\longrightarrow \frac{\alpha(p-q)}{\alpha-1},\qquad \frac{S_n-n\mu}{a_n}\Rightarrow Y-\frac{\alpha(p-q)}{\alpha-1}.\]
(10.8-11)

均值中心化更便于解释样本均值的误差,但它对应的极限位置与截断中心不同。不能只因 \(b_n\sim n\mu\),就认为二者在尺度 \(a_n\) 上没有差别;这里的差恰好与 \(a_n\) 同阶。

例 10.8.2 有限均值与无限方差的帕累托和

取 \(x_{\min}=1,\alpha=3/2\),密度为 \((3/2)x^{-5/2}\),\(x\ge1\)。先积分得到 \(\mu=3\),二阶矩发散。尺度 \(a_n=n^{2/3}\),而截断期望直接计算为

\[E[X_1\mathbf1_{\{X_1\le a_n\}}] =\int_1^{a_n}\frac32x^{-3/2}\,dx =3(1-a_n^{-1/2}),\qquad b_n=3n-3a_n.\]
(10.8-12)

若 \(n=10^6\),则 \(a_n=10^4\),均值中心为 \(3\,000\,000\),截断中心为 \(2\,970\,000\)。两者差 \(30\,000=3a_n\)。因此 \((S_n-3n)/a_n\Rightarrow Y-3\),并且

\[n^{1/3}(\overline X_n-3)\Rightarrow Y-3.\]
(10.8-13)

强大数定律仍保证 \(\overline X_n\to3\) 几乎必然,因为一阶绝对矩有限。样本均值的随机误差却使用 \(n^{-1/3}\) 的尺度,其稳定极限不是通常有限方差 CLT 的正态极限。此例把“一致性”与“误差分布及尺度”分开计算。

当 \(\alpha=1\) 时,上述均值中心公式不适用:纯帕累托的均值发散,双尾对称变量的正负部分也可能都不可积。对单侧纯帕累托,\(x_{\min}=1\) 时有 \(a_n=n\)、\(b_n=n\log n\),这些是合法的截断量,不能改写为不存在的 \(n\mu\)。若 \(0<\alpha<1\),可以省去截断中心而得到另一个位置的稳定极限;省去中心不表示原来的 \(Y\) 完全不变。

10.8.5 柯西样本均值的精确分布

10.4节已用反演公式计算标准柯西分布的特征函数。这里沿用该结果,完整说明它对每个样本量的均值意味着什么。标准柯西密度和特征函数分别为

\[f_C(x)=\frac1{\pi(1+x^2)},\qquad \varphi_C(t)=e^{-|t|}.\]
(10.8-14)

独立均值仍为柯西的证明。设 \(C_1,\ldots,C_n\) 独立且均为标准柯西变量。独立性和缩放规则给出

\[\varphi_{\overline C_n}(t) =\prod_{j=1}^n\varphi_C(t/n) =\bigl(e^{-|t|/n}\bigr)^n =e^{-|t|}=\varphi_C(t).\]
(10.8-15)

特征函数唯一性立即推出 \(\overline C_n\) 与 \(C\) 同分布。这是每个 \(n\) 的精确等式,不只是一条渐近结论。柯西分布函数为 \(1/2+\arctan(x)/\pi\),所以 \(P(|\overline C_n|>1)=1/2\) 对所有 \(n\) 成立。样本均值不依概率收敛到零。另一方面,\(E|C|=\infty\),且 \(EC^+\) 与 \(EC^-\) 均发散,因而不能把对称性解释成存在且等于零的均值。证毕。

这也不意味着柯西样本的一切统计量都失去正态极限。例如,样本中位数估计的是分布中位数零。由 19.5节的样本分位数理论,因为 \(f_C(0)=1/\pi>0\),在常规中位数定义下有 \(\sqrt n\,\widehat m_n\Rightarrow N(0,\pi^2/4)\)。这是后续统计内容的联系,阅读本节无需先学19.5节。正态近似的成立与否需要结合所用统计量检查。

10.8.6 尾指数等于二:无限方差也可有高斯极限

非高斯稳定吸引域定理只覆盖 \(0<\alpha<2\)。在边界 \(\alpha=2\) 处,不能由二阶矩无限推断极限必为非高斯。正态吸引域的经典判据是截断二阶矩的慢变化性;可参见参考文献[3]的第2.1节所述判据。具体地,对非退化变量,若 \(H(t)=E[X_1^2\mathbf1_{\{|X_1|\le t\}}]\) 最终正且慢变化,则独立同分布和经合适中心与尺度可有高斯极限。均值有限时,可用 \(n\mu\) 为中心,但标准正态尺度应按中心化截断矩 \(H_\mu(t)=E[(X_1-\mu)^2\mathbf1_{\{|X_1-\mu|\le t\}}]\) 选择,使 \(nH_\mu(c_n)/c_n^2\to1\)。在以下无限方差例中,\(H_\mu(t)\sim H(t)\),因而可用同一渐近主项计算。若方差有限,则应恢复方差常数,不能用未中心化的二阶矩代替方差。

边界例 尾概率为平方倒数的纯帕累托

设 \(P(X_1>x)=x^{-2}\),\(x\ge1\),故密度 \(f(x)=2x^{-3}\)。直接积分得

\[EX_1=2,\qquad EX_1^2=\infty,\qquad H(t)=\int_1^t x^2\,2x^{-3}\,dx=2\log t\quad(t\ge1).\]
(10.8-16)

\(H\) 是慢变化函数。取 \(c_n=\sqrt{n\log n}\),有

\[\frac{nH(c_n)}{c_n^2} =\frac{2\log c_n}{\log n} =1+\frac{\log\log n}{\log n}\longrightarrow1,\qquad \frac{S_n-2n}{\sqrt{n\log n}}\Rightarrow N(0,1).\]
(10.8-17)

因此分母没有额外的 \(\sqrt2\)。截断二阶矩中的系数二,恰与 \(\log c_n\sim(\log n)/2\) 配合。若改用中心化变量 \(X_1-2\) 的截断二阶矩,主项仍是 \(2\log t\),不改变这一常数。

对此帕累托例的截断证明。为直接核对极限,取 \(d_n=\sqrt n\log\log n\)(只考虑充分大的 \(n\)),令 \(Z_{n,j}=X_j\mathbf1_{\{X_j\le d_n\}}\)。并集界给出删掉任何一项的概率不超过 \(nd_n^{-2}=(\log\log n)^{-2}\to0\)。积分又给出 \(EZ_{n,1}=2-2/d_n\),以及 \(\operatorname{Var}(Z_{n,1})=2\log d_n-(2-2/d_n)^2\sim\log n\)。

每个中心化截断项的绝对值不超过 \(d_n+2\),而 \((d_n+2)/c_n\to0\),故任意固定正阈值下,Lindeberg 尾项最终为零。结合 \(n\operatorname{Var}(Z_{n,1})/c_n^2\to1\),10.6节的三角阵 CLT 给出截断和的正态极限。最后,中心差除以 \(c_n\) 为 \(2n/(d_nc_n)=2/(\log\log n\sqrt{\log n})\to0\);截断和与原和相等的概率趋于一,用 Slutsky 定理即可恢复原和。证毕。

对于绝对值尾概率具有尾指数 \(\alpha>2\) 的正则变化实值变量,二阶矩有限,方差非零时回到10.6节的经典独立同分布 CLT。对于一般绝对值尾指数恰等于二的正则变化变量,慢变化因子决定二阶矩是否有限;不能把纯帕累托的 \(\sqrt{n\log n}\) 归一化当作整个边界类的统一公式。

相同样本的最大值与和沿不同极限路线 独立同分布样本分成最大值和样本和两个方向。正则变化尾部的最大值有 Fréchet 极限;和在尾指数小于二时通向稳定极限,纯帕累托指数二通向带对数尺度的高斯极限,大于二通向经典中心极限定理。 独立同分布的正则变化样本 最大值只需右尾指数大于零用尾部分位数确定尺度Fréchet 极限 样本和:另需中心化与双尾条件尾指数小于 2:非高斯稳定极限纯帕累托指数为 2:对数修正高斯极限尾指数大于 2:有限方差的经典 CLT 极端观测参与两种统计量,但其极限分布不相同
图 10.8-2 最大值的 Fréchet 极限与和的稳定或高斯极限分别描述不同统计量。右侧的边界行专指本节计算的纯帕累托;其他边界分布须重新确定尺度。

10.8.7 习题与详解

习题 10.8.1 最大值的中位数如何随样本量增长?

独立帕累托样本的 \(x_{\min}=2,\alpha=1\)。求 \(n=10\) 时最大值中位数的精确值,给出大样本近似,并解释两者分别使用什么分布。

最大值的分布函数为 \((1-2/m)^{10}\),其中 \(m\ge2\)。令其等于二分之一,先开十次方根,再反解阈值,得 \(m=2/(1-2^{-1/10})\approx29.8655\)。Fréchet 近似是 \(2n/\log2\approx28.8539\)。前一个值由有限样本分布精确计算,后一个值来自归一化最大值的极限分布;把原帕累托的中位数四代入,会漏掉取最大值这一操作。近似误差在这里可以直接由两种显式公式比较。

习题 10.8.2 截断中心能否直接改成均值中心?

纯帕累托的 \(x_{\min}=1,\alpha=4/3\)。求 \(a_n,\mu,b_n\),并用定理10.8.2中的 \(Y\) 表示均值中心下的极限。

尾概率为 \(x^{-4/3}\),故 \(a_n=n^{3/4}\),均值为四。截断积分为 \(4(1-a_n^{-1/3})\),乘以 \(n\) 得 \(b_n=4n-4a_n\)。所以 \((S_n-4n)/a_n=(S_n-b_n)/a_n-4\Rightarrow Y-4\)。虽然两个中心除以 \(n\) 都趋于四,其差除以用于极限的尺度却恒为四。因此替换中心必须同时平移极限变量,不能在保留补偿积分约定的同时声称极限仍是同一个 \(Y\)。

习题 10.8.3 柯西平均值为何不能估计“均值零”?

对独立标准柯西变量,求 \(P(|\overline C_n|>2)\)。说明它能否依概率趋于零,并解释“对称”与“均值存在”的关系。

由特征函数乘积,任何样本量下平均值仍是标准柯西变量,故所求概率为 \(1-2\arctan(2)/\pi\approx0.295167\)。该正数与样本量无关,因此不满足依概率收敛到零的定义。密度的对称性保证中位数为零,却不能保证一阶绝对矩有限。柯西的正负部分期望均无限,通常期望没有定义;将一个对称主值积分的结果称为均值,会把两个不同积分概念混在一起。

习题 10.8.4 核对高斯边界的尺度常数

设 \(P(X_1>x)=(2/x)^2\),\(x\ge2\),且样本独立同分布。求均值、截断二阶矩,以及使中心化和趋于标准正态的一个尺度。

密度为 \(8x^{-3}\),直接积分得到均值四,截断二阶矩为 \(H(t)=8\log(t/2)\),\(t\ge2\)。取 \(c_n=2\sqrt{n\log n}\),则 \(nH(c_n)/c_n^2=2\log(c_n/2)/\log n\to1\)。所以 \((S_n-4n)/(2\sqrt{n\log n})\Rightarrow N(0,1)\)。也可以令 \(X_j=2V_j\),其中 \(V_j\) 是下界一的帕累托,直接对本节边界结论做线性变换。两种方法得到相同常数,检查了尺度参数应保留在分母中。

关键术语与阅读出口

Fréchet 极限:正则变化右尾的独立最大值经尾部分位数归一化后的极限。稳定吸引域:独立同分布和经适当中心与尺度后收敛到稳定分布的分布类。双尾平衡:左右尾各自在绝对值尾概率中所占比例的极限。截断中心:只对不超过当前尺度的观测取期望,再乘以样本量。Lévy 测度:在补偿积分中决定极限跳跃大小与方向的测度。正态吸引域:允许比平方根样本量更一般的尺度,极限仍为高斯的分布类。

本节建立尾部性质与样本极限的联系。统计部分可继续阅读 顺序统计量、分位数与极值,再沿 幂律模型的拟合、检验与比较、尾指数估计与阈值选择、阈值超越与极端分位数估计进入尾部推断。估计尾指数需要处理阈值、偏差和有效尾部样本量;概率极限定理本身不会替数据选择阈值。

参考文献与证明范围

  1. Durrett, R. Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019,§3.8,定理3.8.2及式(3.8.9),并参见例3.4.13的无限方差高斯极限。作者公开版本。本节引用一般稳定吸引域定理,保留与截断中心匹配的指示函数补偿形式。
  2. Resnick, S. I. Heavy-Tail Phenomena: Probabilistic and Statistical Modeling. Springer, 2007。参见正则变化、弱收敛及其重尾应用。出版社页面与目录。最大值极限、帕累托算例、中心位移及边界截断证明均在本节展开。
  3. Heiny, J., and Mikosch, T. Almost Sure Convergence of the Largest and Smallest Eigenvalues of High-Dimensional Sample Correlation Matrices,作者稿,2017,§2.1。该节说明正态吸引域与截断二阶矩慢变化的等价条件;本节仅使用这一概率判据,不引用其随机矩阵结论。作者公开稿。