主要先修:5.8 幂律、帕累托与离散幂律、9.3 勒贝格积分与积分收敛定理、10.3 弱收敛、紧性与连续映射
本节属于幂律与重尾专题路线;矩条件与尾积分使用上列先修,末段的极限定理衔接另用 10.5 大数定律与 10.6 中心极限定理。具体证明范围见正文。
10.7.1 从纯帕累托到正则变化
5.8 节中的帕累托分布具有精确幂律尾部。实际建模及极限定理通常只要求尾部在大数值处具有渐近缩放关系,不要求从某个阈值开始完全等于一条幂函数。为此,先把幂次与其余因子分开。
设函数 \(L\) 可测,并在充分大的正数上取有限正值。若对每个固定 \(t>0\),
则称 \(L\) 在无穷远处慢变化。若有限的非负随机变量 \(X\) 的尾概率在充分大的 \(x\) 上满足下式,则称其右尾正则变化,尾指数为 \(\alpha\):
尾概率函数的正则变化指数是 \(-\alpha\),本书将正数 \(\alpha\) 统一称为尾指数。给定尾比极限后,定义 \(L(x)=x^{\alpha}\overline F(x)\) 就可反推出慢变化。因此式 (10.7-2) 的两种写法等价。纯帕累托对应常数 \(L\),但慢变化函数可以趋于零、趋于无穷,也可以没有极限;慢变化限制的是乘法缩放后的比值。
一个可以直接核算的例子是 \(L(x)=(\log x)^{\gamma}\),其中 \(\gamma\in\mathbb R\),且只在 \(x>1\) 上讨论。对于固定 \(t>0\),充分大的 \(x\) 保证 \(tx>1\),于是
这里没有让 \(t\) 随 \(x\) 增长。固定缩放量的极限与在任意区间上一致的估计属于不同结论,后者需要下一部分引用的 Potter 界。也不能随意指定一个慢变化函数就把 \(x^{-\alpha}L(x)\) 当作完整尾概率:它还必须最终单调不增,并能接成取值在零与一之间的合法分布。
10.7.2 重尾的范围比幂律更广
重尾在文献中有不止一种约定。本节讨论非负变量,采用以下常见定义;其他约定、次指数分布及相关分类可参见参考文献 [2]。给定模型时,应先说明使用哪一种定义,再讨论蕴含关系。
该条件称为重尾;若至少存在一个正数 \(\lambda\) 使指数矩有限,则称为轻尾。这里的指数矩与 \(E[X^q]\) 这样的幂次矩是不同对象。
正则变化右尾都满足上述重尾条件。后文的 Potter 界会给出:对任意小的 \(\varepsilon>0\),存在常数 \(c>0\),使 \(L(x)\ge c x^{-\varepsilon}\) 对充分大的 \(x\) 成立。因此对任意 \(\lambda>0\),
反向关系不成立。设 \(X=e^Z\),\(Z\sim N(\mu,\sigma^2)\),且 \(\sigma>0\)。正态尾部估计给出对数正态的尾部对数为 \(- (\log x-\mu)^2/(2\sigma^2)+O(\log\log x)\)。因子 \(e^{\lambda x}\) 的增长速度超过尾概率倒数的增长速度,因此对数正态也是重尾。然而对固定 \(t>1\),令 \(z=(\log x-\mu)/\sigma\)、\(c=\log t/\sigma>0\),由正态 Mills 比率得到
这与有限尾指数所要求的正极限 \(t^{-\alpha}\) 不同。对数正态同时拥有全部正阶幂次矩 \(E[X^q]=\exp(q\mu+q^2\sigma^2/2)\)。所以重尾不能与无穷方差或无穷均值直接等同。
10.7.3 尾积分恒等式与边界项
判断矩是否存在,无须先求密度。令 \(q>0\),把确定值 \(X^q\) 写成从零到 \(X\) 的积分,然后使用9.3 节的 Tonelli 定理即可。由于被积函数非负,下面的恒等式允许两侧同为无穷。
对每个 \(u>0\),还有
证明。逐点恒等式 \(X^q=\int_0^\infty qx^{q-1}\mathbf1_{\{X>x\}}\,dx\) 经 Tonelli 定理换序后得到式 (10.7-7)。当 \(X>u\) 时,把积分拆成从零到 \(u\) 的部分与从 \(u\) 到 \(X\) 的部分;当 \(X\le u\) 时两部分都置零。这给出 \(X^q\mathbf1_{\{X>u\}}=u^q\mathbf1_{\{X>u\}}+\int_u^\infty qx^{q-1}\mathbf1_{\{X>x\}}\,dx\),取期望便得式 (10.7-8)。
最后,\(\min(X,u)^q=X^q\mathbf1_{\{X\le u\}}+u^q\mathbf1_{\{X>u\}}\),其尾积分只到 \(u\),因而得到式 (10.7-9)。该式完全由有限量推导,不使用两个无穷矩相减。若 \(X\) 在阈值 \(u\) 处有原子,左侧的 \(\le u\) 与尾概率的 \( >u\) 仍恰好匹配,恒等式无需连续分布假设。证毕。
10.7.4 Potter 界与临界矩条件
对最终为正的可测慢变化函数 \(L\),任取 \(\varepsilon>0\) 和 \(A>1\),存在 \(x_0\),使对所有 \(x,y\ge x_0\) 有
这是参考文献 [1] 的 Theorem 1.5.6。本节引用该定理,所需的一致收敛与表示定理证明见该书第 1 章;仅有定义中的逐点极限不能直接把所有 \(y\) 的估计同时取出。
固定足够大的参考点,并交换式 (10.7-10) 的 \(x,y\),可得到正数 \(c,C\),使 \(c x^{-\varepsilon}\le L(x)\le Cx^{\varepsilon}\) 对充分大的 \(x\) 成立。对正则变化尾部,式 (10.7-7) 的零附近积分至多为 \(q\int_0^a x^{q-1}dx=a^q\),所以矩条件只由大数值处的积分决定。
矩判别的证明。若 \(0<q<\alpha\),选 \(0<\varepsilon<\alpha-q\),则大数值处的被积函数至多为 \(C x^{q-1-\alpha+\varepsilon}\),指数小于 \(-1\),积分有限。若 \(q>\alpha\),选 \(0<\varepsilon<q-\alpha\),被积函数至少为 \(c x^{q-1-\alpha-\varepsilon}\),指数大于 \(-1\),积分发散。若 \(q=\alpha\),直接代入尾积分,得到
因此尾指数只决定临界阶两侧的结果,不能单独决定临界阶本身。帕累托的常数慢变化因子使临界矩发散;其他慢变化因子可能使它有限。
下面构造两个完整分布,避免只给出无法归一化的尾部。固定 \(\alpha>0\),分别取 \(p=1,2\),并定义分布函数
零点质量为 \(1-e^{-\alpha}\),其余质量放在 \(e\) 以上。尾部在 \(e\) 处接续,且在 \(x\ge e\) 上正值、单调下降到零,所以 \(F_p\) 右连续、单调上升并趋于一,确实是合法分布。它们的尾指数相同,临界矩却不同:
10.7.5 Karamata 定理与截断矩
矩有限与否之外,还可计算超过阈值的矩如何衰减,或阈值以内的矩如何增长。这些量进入尾部误差、极限归一化和尾指数估计的分析。下面只引用积分定理的非临界形式,不将它套用于指数恰为 \(-1\) 的情况。
设 \(f(x)=x^{\rho}L(x)\),其中 \(L\) 是最终为正的可测慢变化函数,并假设 \(f\) 在 \([a,\infty)\) 的每个紧子区间上有界,\(a>0\)。则
此处 \(\sim\) 表示两侧之比趋于一。该定理的完整证明与边界形式见参考文献 [1] Theorem 1.5.11。本节使用其结论,并独立推导统计中所需的截断矩系数。对 \(f(x)=x^{q-1}\overline F(x)\),局部有界性由尾概率不超过一、且 \(a>0\) 保证。
截断矩渐近的推导。先设 \(0<q<\alpha\),积分函数的正则变化指数为 \(\rho=q-1-\alpha<-1\)。把第二种形式代入式 (10.7-8),保留边界项,得到
若只计算积分,系数会误写成 \(q/(\alpha-q)\)。由于尾概率最终为正,还可除以它,得到条件矩 \(E[X^q\mid X>u]\sim\alpha u^q/(\alpha-q)\)。
再设 \(q>\alpha\),此时 \(\rho=q-1-\alpha>-1\)。式 (10.7-9) 中零到固定 \(a\) 的积分有界,而 \(u^q\overline F(u)=u^{q-\alpha}L(u)\to\infty\),因此这一有界项不影响主项。第一种形式于是给出
这一次边界项被减去。两种系数来自不同的截断方式,不能仅凭将分母取绝对值来记忆。临界 \(q=\alpha\) 不在上述两种形式的假设内,必须返回原积分检查慢变化因子。
10.7.6 两个手算例与大数定律、CLT 的衔接
设 \(X\) 为最小值一、尾指数三的帕累托变量:\(\overline F(x)=x^{-3}\) 对 \(x\ge1\) 成立。取阈值 \(u=10\),超阈值概率为 \(10^{-3}=0.001\)。先求一阶超阈值矩,再求二阶超阈值矩:
分别除以 \(0.001\),得到 \(E[X\mid X>10]=15\)、\(E[X^2\mid X>10]=300\)。对纯帕累托,式 (10.7-15) 在阈值至少为一时恰好精确。另一个容易混淆的量是 \(E[(X-10)_+]=\int_{10}^{\infty}\overline F(x)dx=0.005\),其条件版本为 \(E[X-10\mid X>10]=5\)。超额均值只计算超过十的部分,而超阈值矩还计入每个超越观测所含的十,因此两者差 \(10P(X>10)=0.01\)。
改取尾指数 \(\alpha=3/2\)、最小值一的帕累托变量。均值为三,但二阶矩无穷。对 \(u\ge1\),用式 (10.7-9) 逐段积分:
取 \(u=100\),得到二阶截断矩 \(27\);取 \(u=10,000\),得到 \(297\)。式 (10.7-16) 的渐近主项为 \(3\sqrt u\),分别给出 \(30\) 与 \(300\),两个精确值都少三。相对误差随阈值增大而下降,但截断矩本身不断增长。若把超过 \(u\) 的观测改成 \(u\),则得到的封顶变量具有二阶矩 \(E[\min(X,u)^2]=4\sqrt u-3\),与删除超阈值观测的二阶矩不同;比较实证结果时必须说明截断操作。
这两个例子也说明本节在概率极限定理中的用途。对 iid 非负变量,有限均值足以使用本书10.5 节的大数定律;有限且非零的方差则允许使用10.6 节的经典 iid 中心极限定理:
正则变化尾指数大于一保证均值有限,大于二保证方差有限;尾指数恰为一或二时,应分别检查临界一阶或二阶积分。例 10.7.2 的样本均值几乎必然趋于三,但不能用有限方差版本的 CLT 给它套上通常标准误。该样本和的归一化与稳定极限由10.8 节继续处理;尾指数二的无穷方差情形还可能在不同归一化下有正态极限。
原始变量方差无穷时,某些统计量仍可渐近正态。例如固定阈值 \(b\),若 \(0<P(X\le b)<1\),指示变量 \(\mathbf1_{\{X_i\le b\}}\) 是具有有限非零方差的伯努利变量,其样本比例仍满足经典 CLT。研究统计方法时应检查参与求和的变量,而不能只凭原始观测的尾部作统一判断。尾部估计中的阈值与矩条件将在19.9 节进一步使用。
10.7.7 习题与解答
习题 10.7-1 幂次修正与对数修正
题目。对固定 \(\gamma\in\mathbb R\)、\(\delta\ne0\),判断 \(L_1(x)=(\log x)^{\gamma}\) 与 \(L_2(x)=x^{\delta}\) 是否慢变化。若尾部为 \(x^{-\alpha+\delta}\),它的尾指数是否仍为 \(\alpha\)?
解答。对数修正的比值已在式 (10.7-3) 算出,任意固定正缩放量下都趋于一,因此 \(L_1\) 慢变化。幂次修正满足 \(L_2(tx)/L_2(x)=t^{\delta}\),取 \(t=2\) 就不等于一,因此不是慢变化。若 \(\alpha-\delta>0\),题给尾部可以是尾指数 \(\alpha-\delta\) 的帕累托型尾部。若 \(\alpha-\delta\le0\),它不会随 \(x\to\infty\) 衰减到零,不能直接成为有限随机变量的最终尾概率。将幂次变化归入慢变化因子会误报尾指数。
习题 10.7-2 临界矩的完整判别
题目。对式 (10.7-12) 的构造改取任意 \(p>0\)。求其临界阶矩,并说明当 \(\alpha=2\) 时经典 iid CLT 何时适用。
解答。正数 \(p\) 保证该尾部在 \(e\) 以上单调下降,零点质量仍为 \(1-e^{-\alpha}\),因此构造合法。变量只在零点及 \(e\) 以上取值,式 (10.7-8) 的边界项为一。用 \(v=\log x\) 换元后得到
当 \(\alpha=2\) 时,一阶矩总是有限,二阶矩在且仅在 \(p>1\) 时有限。分布同时有零点质量与连续尾部,所以方差严格为正;对 \(p>1\) 可直接应用有限方差的 iid CLT。对 \(p\le1\),这条定理的方差假设失败,但不能据此否定所有其他归一化下的正态极限。
习题 10.7-3 超额与超阈值观测的区别
题目。设尾部正则变化,尾指数 \(\alpha>1\)。求 \(E[(X-u)_+]\) 的渐近量,以及 \(E[X-u\mid X>u]\) 与 \(E[X\mid X>u]\) 的渐近量。
解答。超额正部的层析积分直接给出 \(E[(X-u)_+]=\int_u^\infty\overline F(x)dx\),不含阈值基数。积分函数指数为 \(-\alpha<-1\),符合 Karamata 定理第二种形式,因此
尾概率最终为正,条件期望可由除法得到。最后一项也可将阈值 \(u\) 加回第二项得到。三项分别是总体超额贡献、超越事件内的平均超额、超越事件内的完整观测均值;把第二项与第三项混用恰好漏去一个阈值。
习题 10.7-4 幂次变换后的尾指数
题目。设 \(X\ge0\) 具有尾指数 \(\alpha>0\) 的正则变化尾部,令 \(Y=X^r\)、\(r>0\)。证明 \(Y\) 的尾指数为 \(\alpha/r\),并判断其 \(q\) 阶矩。
解答。幂函数严格单调,故超过 \(y\) 的事件等价于 \(X>y^{1/r}\)。定义 \(L_Y(y)=L(y^{1/r})\),得到
这里 \(t^{1/r}\) 是固定正数,所以慢变化定义确实适用。由 \(E[Y^q]=E[X^{rq}]\),当 \(rq<\alpha\) 时矩有限,当 \(rq>\alpha\) 时矩无穷;当 \(rq=\alpha\) 时检查原来的 \(\int L(x)dx/x\)。这也说明平方变换会把尾指数减半,不能用原观测的指数直接判断平方变量的均值。
关键术语
- 尾概率:\(\overline F(x)=P(X>x)\),可在没有密度时直接用于矩的计算。
- 慢变化:固定乘法缩放后的函数比值趋于一。
- 正则变化右尾:幂次衰减乘以慢变化因子,尾比极限为 \(t^{-\alpha}\)。
- 尾指数:本书用正数 \(\alpha\) 表示右尾衰减的幂次。
- 重尾:本节采用全部正指数矩无穷的定义。
- 临界矩:阶数等于尾指数的矩,其存在性还依赖慢变化因子。
- Potter 界:用任意小的正负幂次统一控制慢变化函数的比值。
- Karamata 积分定理:计算非临界正则变化积分的渐近主项。
- 截断矩:保留指定阈值以内或以外观测后的矩;与封顶变量的矩不同。
参考文献
- Bingham, N. H., Goldie, C. M. & Teugels, J. L. (1987). Regular Variation. Cambridge University Press. 第 1 章,Theorem 1.5.6(Potter 界)与 Theorem 1.5.11(Karamata 积分定理);本节引用其长证明,截断矩系数另行推导。出版社章节页。
- Nair, J., Wierman, A. & Zwart, B. (2022). The Fundamentals of Heavy Tails: Properties, Emergence, and Estimation. Cambridge University Press. 重尾分类、正则变化及其概率应用。出版社 DOI。
- Resnick, S. I. (2007). Heavy-Tail Phenomena: Probabilistic and Statistical Modeling. Springer. 正则变化、重尾模型与统计方法的系统教材。出版社图书页。