第10章 · 收敛、特征函数与极限定理

10.7 正则变化与重尾的矩条件

Regular Variation and Heavy-tailed Moments
帕累托尾部可以乘上一个变化较慢的因子,仍保留同一尾指数,却改变临界阶矩是否存在。本节从慢变化与正则变化出发,证明尾积分恒等式,借助 Potter 界判断矩条件,再用 Karamata 积分定理计算截断矩的渐近量。最后区分有限均值所支持的大数定律与有限方差所支持的经典中心极限定理,为重尾和、极值及尾指数估计准备工具。
先修与阅读位置

主要先修:5.8 幂律、帕累托与离散幂律、9.3 勒贝格积分与积分收敛定理、10.3 弱收敛、紧性与连续映射

本节属于幂律与重尾专题路线;矩条件与尾积分使用上列先修,末段的极限定理衔接另用 10.5 大数定律与 10.6 中心极限定理。具体证明范围见正文。

10.7.1 从纯帕累托到正则变化

5.8 节中的帕累托分布具有精确幂律尾部。实际建模及极限定理通常只要求尾部在大数值处具有渐近缩放关系,不要求从某个阈值开始完全等于一条幂函数。为此,先把幂次与其余因子分开。

定义 10.7.1 慢变化与正则变化

设函数 \(L\) 可测,并在充分大的正数上取有限正值。若对每个固定 \(t>0\),

\[\lim_{x\to\infty}\frac{L(tx)}{L(x)}=1,\]
(10.7-1)

则称 \(L\) 在无穷远处慢变化。若有限的非负随机变量 \(X\) 的尾概率在充分大的 \(x\) 上满足下式,则称其右尾正则变化,尾指数为 \(\alpha\):

\[\overline F(x):=P(X>x)=x^{-\alpha}L(x),\quad\alpha>0;\qquad \frac{\overline F(tx)}{\overline F(x)}\longrightarrow t^{-\alpha}.\]
(10.7-2)

尾概率函数的正则变化指数是 \(-\alpha\),本书将正数 \(\alpha\) 统一称为尾指数。给定尾比极限后,定义 \(L(x)=x^{\alpha}\overline F(x)\) 就可反推出慢变化。因此式 (10.7-2) 的两种写法等价。纯帕累托对应常数 \(L\),但慢变化函数可以趋于零、趋于无穷,也可以没有极限;慢变化限制的是乘法缩放后的比值。

一个可以直接核算的例子是 \(L(x)=(\log x)^{\gamma}\),其中 \(\gamma\in\mathbb R\),且只在 \(x>1\) 上讨论。对于固定 \(t>0\),充分大的 \(x\) 保证 \(tx>1\),于是

\[\frac{L(tx)}{L(x)}=\left(\frac{\log x+\log t}{\log x}\right)^{\gamma}=\left(1+\frac{\log t}{\log x}\right)^{\gamma}\longrightarrow1.\]
(10.7-3)

这里没有让 \(t\) 随 \(x\) 增长。固定缩放量的极限与在任意区间上一致的估计属于不同结论,后者需要下一部分引用的 Potter 界。也不能随意指定一个慢变化函数就把 \(x^{-\alpha}L(x)\) 当作完整尾概率:它还必须最终单调不增,并能接成取值在零与一之间的合法分布。

10.7.2 重尾的范围比幂律更广

重尾在文献中有不止一种约定。本节讨论非负变量,采用以下常见定义;其他约定、次指数分布及相关分类可参见参考文献 [2]。给定模型时,应先说明使用哪一种定义,再讨论蕴含关系。

定义 10.7.2 本节的重尾约定
\[E[e^{\lambda X}]=\infty\quad\text{对每个 }\lambda>0.\]
(10.7-4)

该条件称为重尾;若至少存在一个正数 \(\lambda\) 使指数矩有限,则称为轻尾。这里的指数矩与 \(E[X^q]\) 这样的幂次矩是不同对象。

正则变化右尾都满足上述重尾条件。后文的 Potter 界会给出:对任意小的 \(\varepsilon>0\),存在常数 \(c>0\),使 \(L(x)\ge c x^{-\varepsilon}\) 对充分大的 \(x\) 成立。因此对任意 \(\lambda>0\),

\[E[e^{\lambda X}]\ge e^{\lambda x}P(X>x)\ge c e^{\lambda x}x^{-\alpha-\varepsilon}\longrightarrow\infty.\]
(10.7-5)

反向关系不成立。设 \(X=e^Z\),\(Z\sim N(\mu,\sigma^2)\),且 \(\sigma>0\)。正态尾部估计给出对数正态的尾部对数为 \(- (\log x-\mu)^2/(2\sigma^2)+O(\log\log x)\)。因子 \(e^{\lambda x}\) 的增长速度超过尾概率倒数的增长速度,因此对数正态也是重尾。然而对固定 \(t>1\),令 \(z=(\log x-\mu)/\sigma\)、\(c=\log t/\sigma>0\),由正态 Mills 比率得到

\[\frac{P(X>tx)}{P(X>x)}=\frac{1-\Phi(z+c)}{1-\Phi(z)}\sim\frac{z}{z+c}\exp\!\left(-cz-\frac{c^2}{2}\right)\longrightarrow0.\]
(10.7-6)

这与有限尾指数所要求的正极限 \(t^{-\alpha}\) 不同。对数正态同时拥有全部正阶幂次矩 \(E[X^q]=\exp(q\mu+q^2\sigma^2/2)\)。所以重尾不能与无穷方差或无穷均值直接等同。

10.7.3 尾积分恒等式与边界项

判断矩是否存在,无须先求密度。令 \(q>0\),把确定值 \(X^q\) 写成从零到 \(X\) 的积分,然后使用9.3 节的 Tonelli 定理即可。由于被积函数非负,下面的恒等式允许两侧同为无穷。

命题 10.7.1 三个尾积分恒等式
\[E[X^q]=q\int_0^{\infty}x^{q-1}\overline F(x)\,dx.\]
(10.7-7)

对每个 \(u>0\),还有

\[E[X^q\mathbf1_{\{X>u\}}]=u^q\overline F(u)+q\int_u^{\infty}x^{q-1}\overline F(x)\,dx,\]
(10.7-8)
\[E[X^q\mathbf1_{\{X\le u\}}]=q\int_0^u x^{q-1}\overline F(x)\,dx-u^q\overline F(u).\]
(10.7-9)

证明。逐点恒等式 \(X^q=\int_0^\infty qx^{q-1}\mathbf1_{\{X>x\}}\,dx\) 经 Tonelli 定理换序后得到式 (10.7-7)。当 \(X>u\) 时,把积分拆成从零到 \(u\) 的部分与从 \(u\) 到 \(X\) 的部分;当 \(X\le u\) 时两部分都置零。这给出 \(X^q\mathbf1_{\{X>u\}}=u^q\mathbf1_{\{X>u\}}+\int_u^\infty qx^{q-1}\mathbf1_{\{X>x\}}\,dx\),取期望便得式 (10.7-8)。

最后,\(\min(X,u)^q=X^q\mathbf1_{\{X\le u\}}+u^q\mathbf1_{\{X>u\}}\),其尾积分只到 \(u\),因而得到式 (10.7-9)。该式完全由有限量推导,不使用两个无穷矩相减。若 \(X\) 在阈值 \(u\) 处有原子,左侧的 \(\le u\) 与尾概率的 \( >u\) 仍恰好匹配,恒等式无需连续分布假设。证毕。

超过阈值后的矩包含阈值基数与额外积分横轴为积分变量,纵轴为尾概率乘以幂次权重。右侧阴影表示阈值后的尾积分。左侧单独的方框说明每个超过阈值的观测还贡献阈值的幂次,不能漏掉该项。 加权尾概率积分变量阈值超过阈值后的积分 每次超越先计入阈值的幂次超阈值矩 = 阈值项 + 阈值后的尾积分
图 10.7-1 尾积分的两部分。曲线仅示意 \(q x^{q-1}\overline F(x)\) 在尾部下降的情形;方框表示 \(u^q\overline F(u)\) 的独立贡献,不能把方框看作曲线下的实际面积。

10.7.4 Potter 界与临界矩条件

引用定理 10.7.1 Potter 界

对最终为正的可测慢变化函数 \(L\),任取 \(\varepsilon>0\) 和 \(A>1\),存在 \(x_0\),使对所有 \(x,y\ge x_0\) 有

\[\frac{L(y)}{L(x)}\le A\max\left\{\left(\frac yx\right)^{\varepsilon},\left(\frac yx\right)^{-\varepsilon}\right\}.\]
(10.7-10)

这是参考文献 [1] 的 Theorem 1.5.6。本节引用该定理,所需的一致收敛与表示定理证明见该书第 1 章;仅有定义中的逐点极限不能直接把所有 \(y\) 的估计同时取出。

固定足够大的参考点,并交换式 (10.7-10) 的 \(x,y\),可得到正数 \(c,C\),使 \(c x^{-\varepsilon}\le L(x)\le Cx^{\varepsilon}\) 对充分大的 \(x\) 成立。对正则变化尾部,式 (10.7-7) 的零附近积分至多为 \(q\int_0^a x^{q-1}dx=a^q\),所以矩条件只由大数值处的积分决定。

矩判别的证明。若 \(0<q<\alpha\),选 \(0<\varepsilon<\alpha-q\),则大数值处的被积函数至多为 \(C x^{q-1-\alpha+\varepsilon}\),指数小于 \(-1\),积分有限。若 \(q>\alpha\),选 \(0<\varepsilon<q-\alpha\),被积函数至少为 \(c x^{q-1-\alpha-\varepsilon}\),指数大于 \(-1\),积分发散。若 \(q=\alpha\),直接代入尾积分,得到

\[E[X^{\alpha}]<\infty\quad\Longleftrightarrow\quad\int_a^{\infty}\frac{L(x)}x\,dx<\infty\qquad(a\text{ 足够大}).\]
(10.7-11)

因此尾指数只决定临界阶两侧的结果,不能单独决定临界阶本身。帕累托的常数慢变化因子使临界矩发散;其他慢变化因子可能使它有限。

下面构造两个完整分布,避免只给出无法归一化的尾部。固定 \(\alpha>0\),分别取 \(p=1,2\),并定义分布函数

\[F_p(x)=\begin{cases}0,&x<0,\\1-e^{-\alpha},&0\le x<e,\\1-x^{-\alpha}(\log x)^{-p},&x\ge e.\end{cases}\]
(10.7-12)

零点质量为 \(1-e^{-\alpha}\),其余质量放在 \(e\) 以上。尾部在 \(e\) 处接续,且在 \(x\ge e\) 上正值、单调下降到零,所以 \(F_p\) 右连续、单调上升并趋于一,确实是合法分布。它们的尾指数相同,临界矩却不同:

\[E[X_p^{\alpha}]=e^{\alpha}e^{-\alpha}+\alpha\int_e^{\infty}\frac{dx}{x(\log x)^p}=1+\alpha\int_1^{\infty}v^{-p}\,dv=\begin{cases}\infty,&p=1,\\1+\alpha,&p=2.\end{cases}\]
(10.7-13)
正则变化尾部的矩条件在临界阶分为三段阶数轴左侧低于尾指数的矩有限,右侧高于尾指数的矩无穷,临界点由慢变化因子的积分决定。两种对数修正例子在临界点产生相反结果。 阶数小于尾指数矩有限阶数大于尾指数矩无穷阶数等于尾指数:检查慢变化因子的积分 从零向右增加阶数阶数增加对数的负二次修正:临界矩有限对数的负一次修正:临界矩无穷同一个尾指数不能替代临界积分的判断
图 10.7-2 临界矩两侧由尾指数决定,临界点由 \(\int L(x)\,dx/x\) 决定。式 (10.7-12) 给出了右下方两种情形的完整分布。

10.7.5 Karamata 定理与截断矩

矩有限与否之外,还可计算超过阈值的矩如何衰减,或阈值以内的矩如何增长。这些量进入尾部误差、极限归一化和尾指数估计的分析。下面只引用积分定理的非临界形式,不将它套用于指数恰为 \(-1\) 的情况。

引用定理 10.7.2 Karamata 积分定理的两种形式

设 \(f(x)=x^{\rho}L(x)\),其中 \(L\) 是最终为正的可测慢变化函数,并假设 \(f\) 在 \([a,\infty)\) 的每个紧子区间上有界,\(a>0\)。则

\[\begin{aligned}\rho>-1:&\quad\int_a^u f(x)\,dx\sim\frac{u f(u)}{\rho+1},\\\rho<-1:&\quad\int_u^{\infty}f(x)\,dx\sim\frac{u f(u)}{-\rho-1}.\end{aligned}\]
(10.7-14)

此处 \(\sim\) 表示两侧之比趋于一。该定理的完整证明与边界形式见参考文献 [1] Theorem 1.5.11。本节使用其结论,并独立推导统计中所需的截断矩系数。对 \(f(x)=x^{q-1}\overline F(x)\),局部有界性由尾概率不超过一、且 \(a>0\) 保证。

截断矩渐近的推导。先设 \(0<q<\alpha\),积分函数的正则变化指数为 \(\rho=q-1-\alpha<-1\)。把第二种形式代入式 (10.7-8),保留边界项,得到

\[E[X^q\mathbf1_{\{X>u\}}]\sim\left(1+\frac q{\alpha-q}\right)u^q\overline F(u)=\frac{\alpha}{\alpha-q}u^q\overline F(u).\]
(10.7-15)

若只计算积分,系数会误写成 \(q/(\alpha-q)\)。由于尾概率最终为正,还可除以它,得到条件矩 \(E[X^q\mid X>u]\sim\alpha u^q/(\alpha-q)\)。

再设 \(q>\alpha\),此时 \(\rho=q-1-\alpha>-1\)。式 (10.7-9) 中零到固定 \(a\) 的积分有界,而 \(u^q\overline F(u)=u^{q-\alpha}L(u)\to\infty\),因此这一有界项不影响主项。第一种形式于是给出

\[E[X^q\mathbf1_{\{X\le u\}}]\sim\left(\frac q{q-\alpha}-1\right)u^q\overline F(u)=\frac{\alpha}{q-\alpha}u^q\overline F(u).\]
(10.7-16)

这一次边界项被减去。两种系数来自不同的截断方式,不能仅凭将分母取绝对值来记忆。临界 \(q=\alpha\) 不在上述两种形式的假设内,必须返回原积分检查慢变化因子。

10.7.6 两个手算例与大数定律、CLT 的衔接

例 10.7.1 阈值以上的矩与超额均值

设 \(X\) 为最小值一、尾指数三的帕累托变量:\(\overline F(x)=x^{-3}\) 对 \(x\ge1\) 成立。取阈值 \(u=10\),超阈值概率为 \(10^{-3}=0.001\)。先求一阶超阈值矩,再求二阶超阈值矩:

\[\begin{aligned}E[X\mathbf1_{\{X>10\}}]&=10\cdot10^{-3}+\int_{10}^{\infty}x^{-3}dx=0.01+0.005=0.015,\\E[X^2\mathbf1_{\{X>10\}}]&=100\cdot10^{-3}+2\int_{10}^{\infty}x^{-2}dx=0.1+0.2=0.3.\end{aligned}\]
(10.7-17)

分别除以 \(0.001\),得到 \(E[X\mid X>10]=15\)、\(E[X^2\mid X>10]=300\)。对纯帕累托,式 (10.7-15) 在阈值至少为一时恰好精确。另一个容易混淆的量是 \(E[(X-10)_+]=\int_{10}^{\infty}\overline F(x)dx=0.005\),其条件版本为 \(E[X-10\mid X>10]=5\)。超额均值只计算超过十的部分,而超阈值矩还计入每个超越观测所含的十,因此两者差 \(10P(X>10)=0.01\)。

例 10.7.2 无穷二阶矩怎样通过截断显现

改取尾指数 \(\alpha=3/2\)、最小值一的帕累托变量。均值为三,但二阶矩无穷。对 \(u\ge1\),用式 (10.7-9) 逐段积分:

\[\begin{aligned}E[X^2\mathbf1_{\{X\le u\}}]&=2\int_0^1x\,dx+2\int_1^u x^{-1/2}dx-u^{1/2}\\&=1+4(\sqrt u-1)-\sqrt u=3(\sqrt u-1).\end{aligned}\]
(10.7-18)

取 \(u=100\),得到二阶截断矩 \(27\);取 \(u=10,000\),得到 \(297\)。式 (10.7-16) 的渐近主项为 \(3\sqrt u\),分别给出 \(30\) 与 \(300\),两个精确值都少三。相对误差随阈值增大而下降,但截断矩本身不断增长。若把超过 \(u\) 的观测改成 \(u\),则得到的封顶变量具有二阶矩 \(E[\min(X,u)^2]=4\sqrt u-3\),与删除超阈值观测的二阶矩不同;比较实证结果时必须说明截断操作。

这两个例子也说明本节在概率极限定理中的用途。对 iid 非负变量,有限均值足以使用本书10.5 节的大数定律;有限且非零的方差则允许使用10.6 节的经典 iid 中心极限定理:

\[\begin{aligned}E[X]=\mu<\infty&\ \Longrightarrow\ \frac1n\sum_{i=1}^nX_i\xrightarrow{\mathrm{a.s.}}\mu,\\0<\operatorname{Var}(X)=\sigma^2<\infty&\ \Longrightarrow\ \frac{\sum_{i=1}^nX_i-n\mu}{\sigma\sqrt n}\Rightarrow N(0,1).\end{aligned}\]
(10.7-19)

正则变化尾指数大于一保证均值有限,大于二保证方差有限;尾指数恰为一或二时,应分别检查临界一阶或二阶积分。例 10.7.2 的样本均值几乎必然趋于三,但不能用有限方差版本的 CLT 给它套上通常标准误。该样本和的归一化与稳定极限由10.8 节继续处理;尾指数二的无穷方差情形还可能在不同归一化下有正态极限。

原始变量方差无穷时,某些统计量仍可渐近正态。例如固定阈值 \(b\),若 \(0<P(X\le b)<1\),指示变量 \(\mathbf1_{\{X_i\le b\}}\) 是具有有限非零方差的伯努利变量,其样本比例仍满足经典 CLT。研究统计方法时应检查参与求和的变量,而不能只凭原始观测的尾部作统一判断。尾部估计中的阈值与矩条件将在19.9 节进一步使用。

10.7.7 习题与解答

习题 10.7-1 幂次修正与对数修正

题目。对固定 \(\gamma\in\mathbb R\)、\(\delta\ne0\),判断 \(L_1(x)=(\log x)^{\gamma}\) 与 \(L_2(x)=x^{\delta}\) 是否慢变化。若尾部为 \(x^{-\alpha+\delta}\),它的尾指数是否仍为 \(\alpha\)?

解答。对数修正的比值已在式 (10.7-3) 算出,任意固定正缩放量下都趋于一,因此 \(L_1\) 慢变化。幂次修正满足 \(L_2(tx)/L_2(x)=t^{\delta}\),取 \(t=2\) 就不等于一,因此不是慢变化。若 \(\alpha-\delta>0\),题给尾部可以是尾指数 \(\alpha-\delta\) 的帕累托型尾部。若 \(\alpha-\delta\le0\),它不会随 \(x\to\infty\) 衰减到零,不能直接成为有限随机变量的最终尾概率。将幂次变化归入慢变化因子会误报尾指数。

习题 10.7-2 临界矩的完整判别

题目。对式 (10.7-12) 的构造改取任意 \(p>0\)。求其临界阶矩,并说明当 \(\alpha=2\) 时经典 iid CLT 何时适用。

解答。正数 \(p\) 保证该尾部在 \(e\) 以上单调下降,零点质量仍为 \(1-e^{-\alpha}\),因此构造合法。变量只在零点及 \(e\) 以上取值,式 (10.7-8) 的边界项为一。用 \(v=\log x\) 换元后得到

\[E[X^\alpha]=1+\alpha\int_1^\infty v^{-p}dv=\begin{cases}1+\dfrac{\alpha}{p-1},&p>1,\\\infty,&0<p\le1.\end{cases}\]
(10.7-20)

当 \(\alpha=2\) 时,一阶矩总是有限,二阶矩在且仅在 \(p>1\) 时有限。分布同时有零点质量与连续尾部,所以方差严格为正;对 \(p>1\) 可直接应用有限方差的 iid CLT。对 \(p\le1\),这条定理的方差假设失败,但不能据此否定所有其他归一化下的正态极限。

习题 10.7-3 超额与超阈值观测的区别

题目。设尾部正则变化,尾指数 \(\alpha>1\)。求 \(E[(X-u)_+]\) 的渐近量,以及 \(E[X-u\mid X>u]\) 与 \(E[X\mid X>u]\) 的渐近量。

解答。超额正部的层析积分直接给出 \(E[(X-u)_+]=\int_u^\infty\overline F(x)dx\),不含阈值基数。积分函数指数为 \(-\alpha<-1\),符合 Karamata 定理第二种形式,因此

\[E[(X-u)_+]\sim\frac{u\overline F(u)}{\alpha-1},\qquad E[X-u\mid X>u]\sim\frac u{\alpha-1},\qquad E[X\mid X>u]\sim\frac{\alpha u}{\alpha-1}.\]
(10.7-21)

尾概率最终为正,条件期望可由除法得到。最后一项也可将阈值 \(u\) 加回第二项得到。三项分别是总体超额贡献、超越事件内的平均超额、超越事件内的完整观测均值;把第二项与第三项混用恰好漏去一个阈值。

习题 10.7-4 幂次变换后的尾指数

题目。设 \(X\ge0\) 具有尾指数 \(\alpha>0\) 的正则变化尾部,令 \(Y=X^r\)、\(r>0\)。证明 \(Y\) 的尾指数为 \(\alpha/r\),并判断其 \(q\) 阶矩。

解答。幂函数严格单调,故超过 \(y\) 的事件等价于 \(X>y^{1/r}\)。定义 \(L_Y(y)=L(y^{1/r})\),得到

\[P(Y>y)=y^{-\alpha/r}L_Y(y),\qquad\frac{L_Y(ty)}{L_Y(y)}=\frac{L(t^{1/r}y^{1/r})}{L(y^{1/r})}\longrightarrow1.\]
(10.7-22)

这里 \(t^{1/r}\) 是固定正数,所以慢变化定义确实适用。由 \(E[Y^q]=E[X^{rq}]\),当 \(rq<\alpha\) 时矩有限,当 \(rq>\alpha\) 时矩无穷;当 \(rq=\alpha\) 时检查原来的 \(\int L(x)dx/x\)。这也说明平方变换会把尾指数减半,不能用原观测的指数直接判断平方变量的均值。

关键术语

  • 尾概率:\(\overline F(x)=P(X>x)\),可在没有密度时直接用于矩的计算。
  • 慢变化:固定乘法缩放后的函数比值趋于一。
  • 正则变化右尾:幂次衰减乘以慢变化因子,尾比极限为 \(t^{-\alpha}\)。
  • 尾指数:本书用正数 \(\alpha\) 表示右尾衰减的幂次。
  • 重尾:本节采用全部正指数矩无穷的定义。
  • 临界矩:阶数等于尾指数的矩,其存在性还依赖慢变化因子。
  • Potter 界:用任意小的正负幂次统一控制慢变化函数的比值。
  • Karamata 积分定理:计算非临界正则变化积分的渐近主项。
  • 截断矩:保留指定阈值以内或以外观测后的矩;与封顶变量的矩不同。

参考文献

  1. Bingham, N. H., Goldie, C. M. & Teugels, J. L. (1987). Regular Variation. Cambridge University Press. 第 1 章,Theorem 1.5.6(Potter 界)与 Theorem 1.5.11(Karamata 积分定理);本节引用其长证明,截断矩系数另行推导。出版社章节页。
  2. Nair, J., Wierman, A. & Zwart, B. (2022). The Fundamentals of Heavy Tails: Properties, Emergence, and Estimation. Cambridge University Press. 重尾分类、正则变化及其概率应用。出版社 DOI。
  3. Resnick, S. I. (2007). Heavy-Tail Phenomena: Probabilistic and Statistical Modeling. Springer. 正则变化、重尾模型与统计方法的系统教材。出版社图书页。