第5章 · 连续型随机变量

5.8 幂律、帕累托与离散幂律

Power Laws and Pareto Distributions
从尾概率定义帕累托分布,推导密度、分位数与正阶矩;区分连续尾指数和离散概率质量指数,再比较上界截断与对数正态。重点是明确模型的支持范围、参数约定和矩存在条件,为后面的重尾极限定理与统计识别建立基础。
先修与阅读位置

主要先修:5.2 连续型随机变量的期望与方差、5.7 随机变量函数的分布、4.8 其他离散型概率分布

本节属于幂律与重尾专题路线;具体用途与证明范围见正文。

5.8.1 从尾概率定义帕累托分布

概率分布既描述常见取值,也描述大数值出现的机会。对非负随机变量,尾概率是超过给定阈值的概率,记为 \(\overline F(x)=P(X>x)\)。本节从尾概率入手:当阈值扩大到原来的若干倍时,超过它的概率按固定幂次缩小,这给出了帕累托分布。

定义 5.8-1 连续帕累托分布与尾指数

给定下界 \(x_{\min}>0\) 和尾指数 \(\alpha>0\),若随机变量的分布函数为

\[ F(x)= \begin{cases} 0,&x<x_{\min},\\ 1-\left(x_{\min}/x\right)^\alpha,&x\ge x_{\min}, \end{cases} \qquad \overline F(x)=\left(\frac{x_{\min}}x\right)^\alpha\quad(x\ge x_{\min}), \]
(5.8-1)

则称它服从帕累托分布。这里采用第一类帕累托的参数约定;下界给出变量的尺度,尾指数控制尾概率的衰减。其他形式的帕累托分布可能还有位置参数,使用时应先对照定义。

在下界处,分布函数连续且等于零,没有集中在下界的点质量。在其右侧求导,可得密度:

\[ f(x)=\alpha x_{\min}^{\alpha}x^{-\alpha-1}\mathbf1_{\{x\ge x_{\min}\}}. \]
(5.8-2)
证明 归一化与分布函数

密度非负。先检查积分为一:

\[ \int_{x_{\min}}^\infty \alpha x_{\min}^{\alpha}x^{-\alpha-1}\,dx =\left[-x_{\min}^{\alpha}x^{-\alpha}\right]_{x_{\min}}^\infty=1. \]
(5.8-3)

上端极限为零使用了尾指数为正。把上式的积分上端换成 \(x\ge x_{\min}\),便得到式(5.8-1)的分布函数;对密度从 \(x\) 积到无穷,则得到同一式中的尾概率。因此定义、密度与归一化相互一致。小于下界的区间没有概率质量。

若将密度写成与 \(x^{-\beta}\) 成比例的形式,则密度指数为 \(\beta=\alpha+1\)。尾概率指数与密度指数相差一,不能互换。下文始终用 \(\alpha\) 表示尾指数;讨论离散概率质量函数时,再使用 \(\beta\)。

尺度关系及其限制

对 \(x\ge x_{\min}\) 与 \(t\ge1\),有 \(\overline F(tx)/\overline F(x)=t^{-\alpha}\)。这个关系在帕累托支持范围内精确成立。若实际数据只在较高阈值以上接近幂律,应明确阈值及近似范围;不应把小数值部分也自动归入帕累托模型。

帕累托尾概率:两轴均为对数刻度 10.10.010.0010.00010.000010.000001 110100 阈值与下界之比 尾指数 1 尾指数 2 尾指数 3 尾指数越大,尾概率下降越快。 曲线来自精确尾概率;图形斜率随横、纵轴的绘制尺度改变。
图 5.8-1 固定下界,比较尾指数。横坐标从一倍下界到百倍下界,纵坐标显示超过该阈值的概率。这里画的是已知模型的理论曲线,尚未涉及数据拟合。

5.8.2 分位数与逆变换

设 \(U\sim U(0,1)\)。对任意 \(0<u<1\),把 \(F(x)=u\) 中的未知量解出来,得到分位数函数及逆变换构造:

\[ F^{-1}(u)=x_{\min}(1-u)^{-1/\alpha}, \qquad X=x_{\min}(1-U)^{-1/\alpha}. \]
(5.8-4)
证明 逆变换的分布

所构造的随机变量至少等于下界。对 \(x\ge x_{\min}\),函数随 \(U\) 递增,因此事件 \(X\le x\) 等价于 \(U\le1-(x_{\min}/x)^\alpha\)。均匀分布在零到一之间的分布函数等于输入值,所以该事件的概率正好是式(5.8-1)。端点 \(U=1\) 的概率为零,不会产生取值为无穷的原子。计算机生成数值时仍应避免把端点一代入逆变换。

这个公式同时说明高分位数对参数的敏感性:当 \(u\) 接近一时,尾指数越小,分位数越大。它是一项模型计算,不能直接证明某组观察值服从帕累托分布。

例 5.8-1 尾概率、分位数与有限方差

设 \(x_{\min}=2\)、\(\alpha=3\)。求超过十的概率、均值、方差、中位数及百分之九十五分位数。

解

由尾概率公式,\(P(X>10)=(2/10)^3=1/125=0.008\)。在下一小节将证明的矩公式中分别取一阶与二阶,得到

\[ E[X]=\frac{3\cdot2}{3-1}=3,\qquad E[X^2]=\frac{3\cdot2^2}{3-2}=12,\qquad \operatorname{Var}(X)=12-3^2=3. \]
(5.8-5)

解 \(F(m)=1/2\),得到中位数 \(m=2\sqrt[3]{2}\)。再把 \(u=0.95\) 代入式(5.8-4),得到百分之九十五分位数 \(2\sqrt[3]{20}\)。均值和方差在这个模型中均有限;不能仅凭“幂律”一词便断言方差不存在。该模型的第三阶矩却发散,因为第三阶恰好位于尾指数边界。

5.8.3 正阶矩及边界条件

命题 5.8-1 帕累托正阶矩

对任意 \(q>0\),

\[ E[X^q]= \begin{cases} \displaystyle\frac{\alpha x_{\min}^{q}}{\alpha-q},&0<q<\alpha,\\ \infty,&q\ge\alpha. \end{cases} \]
(5.8-6)
证明

非负函数的期望可按广义积分计算,即使结果为无穷也成立。代入密度,需计算 \(\alpha x_{\min}^{\alpha}\int_{x_{\min}}^\infty x^{q-\alpha-1}\,dx\)。当 \(q<\alpha\) 时,上端的幂函数极限为零,积分等于 \(x_{\min}^{q-\alpha}/(\alpha-q)\)。当 \(q=\alpha\) 时,被积函数为常数倍的 \(1/x\),其积分以对数方式发散;当 \(q>\alpha\) 时,原函数在上端以正幂增长,积分也发散。三个情形给出上述结论。

因此均值有限当且仅当 \(\alpha>1\)。在均值已经有限的条件下,方差有限当且仅当 \(\alpha>2\)。相应公式为

\[ E[X]=\frac{\alpha x_{\min}}{\alpha-1}\quad(\alpha>1), \qquad \operatorname{Var}(X)=\frac{\alpha x_{\min}^{2}}{(\alpha-1)^2(\alpha-2)} \quad(\alpha>2). \]
(5.8-7)

若 \(1<\alpha\le2\),均值存在而中心二阶矩为无穷。若 \(0<\alpha\le1\),均值已经是无穷,此时通常不把方差当作一个已定义的有限量讨论。边界一与二均属于对应矩发散的一侧。样本均值和样本方差在任何有限样本中都能算出一个数,但这个事实不能推导总体相应矩有限。

尾指数决定矩存在的范围 均值无限二阶矩无限 均值有限方差无限 均值有限方差有限 均值二阶矩 发散有限 发散有限 01234 尾指数(定义范围大于零) 实心点表示边界仍发散;图只画到 4,有限范围向右继续。
图 5.8-2 帕累托均值与二阶矩的存在范围。尾指数大于二之后方差有限;大于一而不大于二时,均值有限而方差无限。

这里得到的是总体分布的性质。独立样本的平均值是否收敛、应按什么尺度归一化,还要使用极限定理。矩条件在 10.7 节继续,重尾和与稳定极限在 10.8 节展开;完成收敛理论后可沿这条路线学习,这些后续内容不作为本节先修。

5.8.4 离散幂律:指数与尾概率

人数、计数和次数等量通常取整数值,应使用概率质量函数而非连续密度。设 \(k_{\min}\ge1\) 为整数,定义归一化常数 \(\zeta(\beta,k_{\min})=\sum_{j=k_{\min}}^\infty j^{-\beta}\)。离散幂律模型为

\[ P(K=k)=\frac{k^{-\beta}}{\zeta(\beta,k_{\min})}, \qquad k=k_{\min},k_{\min}+1,\ldots,\qquad \beta>1. \]
(5.8-8)

参数必须大于一,因为幂级数在且仅在这个范围收敛,才能得到总和为一的概率质量函数。这个模型的尾概率是级数之和,不等于直接把连续帕累托公式中的变量换成整数。

证明 离散尾概率的渐近指数

对整数 \(k>k_{\min}\),函数 \(u^{-\beta}\) 正且递减,故积分比较给出 \(\int_k^\infty u^{-\beta}\,du\le\sum_{j=k}^\infty j^{-\beta}\le\int_{k-1}^\infty u^{-\beta}\,du\)。左右积分分别为 \(k^{1-\beta}/(\beta-1)\) 与 \((k-1)^{1-\beta}/(\beta-1)\),二者之比趋于一。除以归一化常数后得到

\[ P(K\ge k)\sim \frac{k^{-(\beta-1)}}{(\beta-1)\zeta(\beta,k_{\min})} \qquad(k\to\infty). \]
(5.8-9)

此处符号 \(\sim\) 表示两边的比值趋于一。若使用 \(P(K>x)\),把整数求和下界换成 \(\lfloor x\rfloor+1\),同样得到上述幂次的实数阈值渐近式。因此离散模型的尾指数是 \(\alpha=\beta-1\),但尾概率的幂律关系通常只在渐近意义下成立。

离散正阶矩也由幂级数判别。乘上 \(k^q\) 后,指数变成 \(q-\beta\),于是

\[ E[K^q]=\frac{\zeta(\beta-q,k_{\min})}{\zeta(\beta,k_{\min})} <\infty\ \Longleftrightarrow\ q<\beta-1,\qquad q>0. \]
(5.8-10)

上式中的有限值表达仅在右侧条件满足时使用;不满足时,期望为无穷。特别地,离散均值要求 \(\beta>2\),有限二阶矩要求 \(\beta>3\)。如果文章把“指数二”用于连续尾概率,而另一篇用于离散概率质量函数,其矩条件自然不同,必须先确定被描述的是哪一个函数。

5.8.5 纯幂律、尾部幂律与上界截断

纯幂律模型在整个规定支持范围内服从相应幂函数,如式(5.8-2)的帕累托密度。尾部幂律只规定较大取值的尾概率:可能从某个阈值起精确成立,也可能仅满足 \(\overline F(x)\sim c x^{-\alpha}\) 的渐近关系;阈值以下的分布还需另行说明。更一般的正则变化允许乘上慢变化函数,留待 10.7 节定义。讨论模型时应写出所用的精确或渐近关系。

上界截断帕累托则有一个有限上界 \(L>x_{\min}\)。一种明确构造是把原帕累托变量条件化在 \(X\le L\) 上,记为 \(X_T\)。它的密度及支持范围为

\[ f_T(x)=\frac{\alpha x_{\min}^{\alpha}x^{-\alpha-1}} {1-(x_{\min}/L)^\alpha}\, \mathbf1_{\{x_{\min}\le x\le L\}}. \]
(5.8-11)

分母是条件事件的概率。它使区间上的密度积分仍为一;上界处没有新增点质量。对 \(x_{\min}\le x\le L\),尾概率为

\[ P(X_T>x)= \frac{(x_{\min}/x)^\alpha-(x_{\min}/L)^\alpha} {1-(x_{\min}/L)^\alpha}; \qquad P(X_T>x)=0\quad(x\ge L). \]
(5.8-12)

因此,即使密度在有限区间上保持幂函数形式,它的尾概率也不再是无界帕累托的纯幂函数。所有正阶矩均有限,因为 \(0\le X_T^q\le L^q\)。具体积分给出

\[ E[X_T^q]=\frac{\alpha x_{\min}^{\alpha}}{1-(x_{\min}/L)^\alpha} \begin{cases} \displaystyle\frac{L^{q-\alpha}-x_{\min}^{q-\alpha}}{q-\alpha},&q\ne\alpha,\\ \log(L/x_{\min}),&q=\alpha. \end{cases} \]
(5.8-13)
截断的含义需要写明

有限上界截断、乘上指数衰减因子的软截断,以及只保留高于某阈值的数据,是不同操作。本节的“上界截断”专指式(5.8-11)。把数值超过上界的观测一律记成上界称为删失或封顶记录,并非这个条件分布:那样会在上界出现点质量。统计分析前应说明数据产生或记录的方式。

例 5.8-2 截断使方差有限

无界帕累托模型取 \(x_{\min}=1\)、\(\alpha=3/2\),再条件化在 \(X\le4\) 上。求截断密度、均值和方差。

解

条件事件的概率为 \(1-4^{-3/2}=7/8\),所以截断密度在一到四之间为 \((12/7)x^{-5/2}\),区间外为零。分别积分一阶与二阶:

\[ E[X_T]=\frac{12}{7}\int_1^4x^{-3/2}\,dx=\frac{12}{7},\qquad E[X_T^2]=\frac{12}{7}\int_1^4x^{-1/2}\,dx=\frac{24}{7}, \qquad \operatorname{Var}(X_T)=\frac{24}{49}. \]
(5.8-14)

第一项积分等于一,第二项积分等于二。无界模型的均值为三、方差无限;截断后均值变为 \(12/7\),方差为 \(24/49\)。截断改变了原模型,产生另一个具有有限支持的概率分布。该结论依赖固定的真实上界,有限样本中尚未观察到更大值不足以证明上界存在。

5.8.6 重尾不等于幂律:对数正态

本书对非负随机变量采用以下常用约定:若对每个 \(t>0\),\(E[e^{tX}]=\infty\),则称它为重尾分布。也就是说,矩母函数在任何正参数处都不有限。与之相对,若存在某个正参数使该期望有限,称为轻尾。文献中的“重尾”还可能使用其他定义,引用时应说明约定。帕累托与式(5.8-8)的无界离散幂律都满足这里的定义:指数函数在大取值处的增长超过任何固定幂次。

对数正态提供一个不同的重尾例子。设 \(Z\sim N(\mu,\sigma^2)\)、\(\sigma>0\),令 \(X=e^Z\)。正态分布的指数矩或配方法给出,对任意 \(q>0\),

\[ E[X^q]=E[e^{qZ}]=\exp\!\left(q\mu+\frac{q^2\sigma^2}{2}\right)<\infty. \]
(5.8-15)

因此它所有正阶矩都存在。进一步,固定任意 \(a>0\),选取 \(q>a\)。在事件 \(X>x\) 上有 \(X^q\ge x^q\),故 \(E[X^q]\ge x^qP(X>x)\);这就是此处需要的马尔可夫不等式。由此得到

\[ 0\le x^aP(X>x)\le E[X^q]\,x^{a-q}\longrightarrow0 \qquad(x\to\infty). \]
(5.8-16)

这排除了尾概率渐近为某个正指数纯幂函数的可能:若尾概率等价于 \(c x^{-\alpha}\)、\(c>0\),取 \(a=\alpha\) 就与上式矛盾。对数正态的尾概率下降快于任何负幂次,但仍不具有正参数处有限的矩母函数。

证明 对数正态的正参数矩母函数发散

对任意固定 \(t>0\),在正态变量上积分得到

\[ E[e^{tX}]=\frac1{\sigma\sqrt{2\pi}} \int_{-\infty}^{\infty} \exp\!\left(te^z-\frac{(z-\mu)^2}{2\sigma^2}\right)\,dz=\infty. \]
(5.8-17)

因为 \(e^z\) 的增长超过二次多项式,括号中的指数在 \(z\to\infty\) 时趋于正无穷。故被积函数在某个足够大的下界之后至少为一,在无限长区间上的积分发散。这里要求 \(\sigma>0\);当方差参数为零时,变量退化为一个常数,不属于本节的重尾例子。

有无有限方差,回答的是矩存在问题;是否幂律,回答的是尾部函数的形式问题;是否重尾,则依赖已声明的衰减定义。这些判断有关联,但不能把其中一个词作为其他条件的替代。上界截断帕累托在这里是轻尾,因为 \(E[e^{tX_T}]\le e^{tL}\) 对每个正参数均有限。

双对数图上接近直线只是一项初步诊断。有限取值范围、分箱方法及尾部少量观测都可能使曲线看起来接近直线;对数正态也可能在有限范围内与幂律难以区分。确认模型需要阈值选择、参数估计、拟合优度与候选分布比较。Clauset、Shalizi 与 Newman 给出了这样的统计分析框架 [2];学完统计估计与检验后,可沿专题路线阅读 19.8 节。本节的分布计算不依赖这些后续统计方法。

5.8.7 习题与解答

习题 5.8-1 对数变换与条件尾概率

设 \(X\) 服从下界 \(x_{\min}>0\)、尾指数 \(\alpha>0\) 的帕累托分布。求 \(Y=\log(X/x_{\min})\) 的分布;再求 \(P(X>tx\mid X>x)\),其中 \(x\ge x_{\min}\)、\(t\ge1\)。

解答

变量 \(Y\) 非负。对 \(y\ge0\),事件 \(Y>y\) 等价于 \(X>x_{\min}e^y\),代入尾概率得到 \(P(Y>y)=e^{-\alpha y}\)。所以 \(Y\) 服从率参数为 \(\alpha\) 的指数分布,均值为 \(1/\alpha\);这也给出另一种帕累托随机数构造。

由于 \(tx\ge x\),条件概率等于 \(P(X>tx)/P(X>x)=t^{-\alpha}\)。分母为正,条件化合法。结论说明,在已超过阈值的条件下,进一步超过该阈值若干倍的概率与阈值本身无关。若模型有固定上界,则还须考虑超过上界的概率为零,这个精确关系不能照用。

习题 5.8-2 从矩条件判断指数

某无界帕累托模型满足 \(E[X^2]<\infty\) 而 \(E[X^3]=\infty\)。求尾指数 \(\alpha\) 以及密度指数 \(\beta\) 的可能范围,并判断均值、方差及三阶矩的边界。

解答

正阶矩有限的充要条件是阶数严格小于尾指数,因此二阶矩有限要求 \(\alpha>2\),三阶矩无限要求 \(\alpha\le3\)。合并得到 \(2<\alpha\le3\)。密度指数比尾指数大一,所以 \(3<\beta\le4\),不能把同一数值范围直接用于两个指数。

尾指数大于二自然也大于一,故均值和方差都有限。上端 \(\alpha=3\) 仍允许,因为此时三阶矩的积分为常数倍的对数发散;下端 \(\alpha=2\) 被排除,因为它会使二阶矩发散。该推断使用的是无界帕累托模型,上界截断时所有正阶矩都有限,题设将不可能成立。

习题 5.8-3 离散归一化与尾指数

取 \(k_{\min}=2\)、\(\beta=2\)。已知 \(\sum_{j=1}^{\infty}j^{-2}=\pi^2/6\),求 \(P(K=2)\),判断 \(E[K]\) 与 \(E[K^{1/2}]\) 是否有限,并给出 \(P(K\ge k)\) 的大阈值渐近式。

解答

从完整级数中去掉第一项,得到归一化常数 \(\zeta(2,2)=\pi^2/6-1>0\)。因此 \(P(K=2)=1/[4(\pi^2/6-1)]\)。概率质量指数是二,对应的尾指数是 \(\beta-1=1\)。一阶矩位于这个指数的边界,所以调和级数导致 \(E[K]=\infty\);半阶矩严格低于尾指数,因而有限。

按式(5.8-9),\(P(K\ge k)\sim1/[k(\pi^2/6-1)]\)。这是阈值趋于无穷的渐近表达。若在 \(k=2\) 处使用它,一般不会得到真实尾概率一;精确概率须保留从二起求和的全部级数。尾指数相同不意味着连续与离散模型的尾概率处处相同。

习题 5.8-4 矩公式在边界阶数处如何使用

取 \(x_{\min}=1\)、\(\alpha=2\)、上界 \(L=3\),构造上界截断帕累托变量 \(X_T\)。求它的均值、二阶矩及方差,并与无界模型比较。

解答

归一化分母为 \(1-3^{-2}=8/9\),所以密度在一到三之间是 \((9/4)x^{-3}\)。一阶矩为 \((9/4)\int_1^3 x^{-2}\,dx=(9/4)(1-1/3)=3/2\)。二阶阶数等于尾指数,必须使用对数分支,得到 \(E[X_T^2]=(9/4)\log3\)。

方差为 \((9/4)(\log3-1)\),它为正且有限,因为 \(\log3>1\)。相比之下,无界帕累托模型的均值是二、二阶矩无限、方差无限。固定上界使二阶积分不再延伸到无穷;公式中等阶情形出现对数,表示积分原函数的形式,不表示有限上界处的矩发散。

关键术语

  • 尾概率与尾指数:尾概率是 \(P(X>x)\);帕累托中按 \(x^{-\alpha}\) 衰减,尾指数为 \(\alpha\)。
  • 密度指数与概率质量指数:连续密度或离散概率质量中的负幂次记为 \(\beta\);本节对应关系为 \(\beta=\alpha+1\),离散尾概率只渐近具有该尾指数。
  • 上界截断:本节通过条件化在不超过固定上界的事件上定义,支持范围有限,所有正阶矩均有限。
  • 重尾:本节约定为所有正参数处的矩母函数均不有限;对数正态在这一意义下重尾,但不具有正指数的幂律尾概率。
  • 分位数与逆变换:由分布函数解出阈值,既用于概率计算,也用于构造指定分布的随机变量。

参考文献与延伸阅读

  1. M. E. J. Newman. Power laws, Pareto distributions and Zipf's law. Contemporary Physics, 2005, 46: 323–351。可对照不同指数约定及连续、离散幂律;本文的归一化、逆变换和矩判别均在正文中推导。
  2. Aaron Clauset, Cosma R. Shalizi, M. E. J. Newman. Power-law distributions in empirical data. SIAM Review, 2009, 51: 661–703。用于进一步学习阈值、估计、拟合优度和分布比较;双对数图的直线外观不能替代这些统计步骤。