5.8.1 从尾概率定义帕累托分布
概率分布既描述常见取值,也描述大数值出现的机会。对非负随机变量,尾概率是超过给定阈值的概率,记为 \(\overline F(x)=P(X>x)\)。本节从尾概率入手:当阈值扩大到原来的若干倍时,超过它的概率按固定幂次缩小,这给出了帕累托分布。
给定下界 \(x_{\min}>0\) 和尾指数 \(\alpha>0\),若随机变量的分布函数为
则称它服从帕累托分布。这里采用第一类帕累托的参数约定;下界给出变量的尺度,尾指数控制尾概率的衰减。其他形式的帕累托分布可能还有位置参数,使用时应先对照定义。
在下界处,分布函数连续且等于零,没有集中在下界的点质量。在其右侧求导,可得密度:
密度非负。先检查积分为一:
上端极限为零使用了尾指数为正。把上式的积分上端换成 \(x\ge x_{\min}\),便得到式(5.8-1)的分布函数;对密度从 \(x\) 积到无穷,则得到同一式中的尾概率。因此定义、密度与归一化相互一致。小于下界的区间没有概率质量。
若将密度写成与 \(x^{-\beta}\) 成比例的形式,则密度指数为 \(\beta=\alpha+1\)。尾概率指数与密度指数相差一,不能互换。下文始终用 \(\alpha\) 表示尾指数;讨论离散概率质量函数时,再使用 \(\beta\)。
对 \(x\ge x_{\min}\) 与 \(t\ge1\),有 \(\overline F(tx)/\overline F(x)=t^{-\alpha}\)。这个关系在帕累托支持范围内精确成立。若实际数据只在较高阈值以上接近幂律,应明确阈值及近似范围;不应把小数值部分也自动归入帕累托模型。
5.8.2 分位数与逆变换
设 \(U\sim U(0,1)\)。对任意 \(0<u<1\),把 \(F(x)=u\) 中的未知量解出来,得到分位数函数及逆变换构造:
所构造的随机变量至少等于下界。对 \(x\ge x_{\min}\),函数随 \(U\) 递增,因此事件 \(X\le x\) 等价于 \(U\le1-(x_{\min}/x)^\alpha\)。均匀分布在零到一之间的分布函数等于输入值,所以该事件的概率正好是式(5.8-1)。端点 \(U=1\) 的概率为零,不会产生取值为无穷的原子。计算机生成数值时仍应避免把端点一代入逆变换。
这个公式同时说明高分位数对参数的敏感性:当 \(u\) 接近一时,尾指数越小,分位数越大。它是一项模型计算,不能直接证明某组观察值服从帕累托分布。
设 \(x_{\min}=2\)、\(\alpha=3\)。求超过十的概率、均值、方差、中位数及百分之九十五分位数。
由尾概率公式,\(P(X>10)=(2/10)^3=1/125=0.008\)。在下一小节将证明的矩公式中分别取一阶与二阶,得到
解 \(F(m)=1/2\),得到中位数 \(m=2\sqrt[3]{2}\)。再把 \(u=0.95\) 代入式(5.8-4),得到百分之九十五分位数 \(2\sqrt[3]{20}\)。均值和方差在这个模型中均有限;不能仅凭“幂律”一词便断言方差不存在。该模型的第三阶矩却发散,因为第三阶恰好位于尾指数边界。
5.8.3 正阶矩及边界条件
对任意 \(q>0\),
非负函数的期望可按广义积分计算,即使结果为无穷也成立。代入密度,需计算 \(\alpha x_{\min}^{\alpha}\int_{x_{\min}}^\infty x^{q-\alpha-1}\,dx\)。当 \(q<\alpha\) 时,上端的幂函数极限为零,积分等于 \(x_{\min}^{q-\alpha}/(\alpha-q)\)。当 \(q=\alpha\) 时,被积函数为常数倍的 \(1/x\),其积分以对数方式发散;当 \(q>\alpha\) 时,原函数在上端以正幂增长,积分也发散。三个情形给出上述结论。
因此均值有限当且仅当 \(\alpha>1\)。在均值已经有限的条件下,方差有限当且仅当 \(\alpha>2\)。相应公式为
若 \(1<\alpha\le2\),均值存在而中心二阶矩为无穷。若 \(0<\alpha\le1\),均值已经是无穷,此时通常不把方差当作一个已定义的有限量讨论。边界一与二均属于对应矩发散的一侧。样本均值和样本方差在任何有限样本中都能算出一个数,但这个事实不能推导总体相应矩有限。
这里得到的是总体分布的性质。独立样本的平均值是否收敛、应按什么尺度归一化,还要使用极限定理。矩条件在 10.7 节继续,重尾和与稳定极限在 10.8 节展开;完成收敛理论后可沿这条路线学习,这些后续内容不作为本节先修。
5.8.4 离散幂律:指数与尾概率
人数、计数和次数等量通常取整数值,应使用概率质量函数而非连续密度。设 \(k_{\min}\ge1\) 为整数,定义归一化常数 \(\zeta(\beta,k_{\min})=\sum_{j=k_{\min}}^\infty j^{-\beta}\)。离散幂律模型为
参数必须大于一,因为幂级数在且仅在这个范围收敛,才能得到总和为一的概率质量函数。这个模型的尾概率是级数之和,不等于直接把连续帕累托公式中的变量换成整数。
对整数 \(k>k_{\min}\),函数 \(u^{-\beta}\) 正且递减,故积分比较给出 \(\int_k^\infty u^{-\beta}\,du\le\sum_{j=k}^\infty j^{-\beta}\le\int_{k-1}^\infty u^{-\beta}\,du\)。左右积分分别为 \(k^{1-\beta}/(\beta-1)\) 与 \((k-1)^{1-\beta}/(\beta-1)\),二者之比趋于一。除以归一化常数后得到
此处符号 \(\sim\) 表示两边的比值趋于一。若使用 \(P(K>x)\),把整数求和下界换成 \(\lfloor x\rfloor+1\),同样得到上述幂次的实数阈值渐近式。因此离散模型的尾指数是 \(\alpha=\beta-1\),但尾概率的幂律关系通常只在渐近意义下成立。
离散正阶矩也由幂级数判别。乘上 \(k^q\) 后,指数变成 \(q-\beta\),于是
上式中的有限值表达仅在右侧条件满足时使用;不满足时,期望为无穷。特别地,离散均值要求 \(\beta>2\),有限二阶矩要求 \(\beta>3\)。如果文章把“指数二”用于连续尾概率,而另一篇用于离散概率质量函数,其矩条件自然不同,必须先确定被描述的是哪一个函数。
5.8.5 纯幂律、尾部幂律与上界截断
纯幂律模型在整个规定支持范围内服从相应幂函数,如式(5.8-2)的帕累托密度。尾部幂律只规定较大取值的尾概率:可能从某个阈值起精确成立,也可能仅满足 \(\overline F(x)\sim c x^{-\alpha}\) 的渐近关系;阈值以下的分布还需另行说明。更一般的正则变化允许乘上慢变化函数,留待 10.7 节定义。讨论模型时应写出所用的精确或渐近关系。
上界截断帕累托则有一个有限上界 \(L>x_{\min}\)。一种明确构造是把原帕累托变量条件化在 \(X\le L\) 上,记为 \(X_T\)。它的密度及支持范围为
分母是条件事件的概率。它使区间上的密度积分仍为一;上界处没有新增点质量。对 \(x_{\min}\le x\le L\),尾概率为
因此,即使密度在有限区间上保持幂函数形式,它的尾概率也不再是无界帕累托的纯幂函数。所有正阶矩均有限,因为 \(0\le X_T^q\le L^q\)。具体积分给出
有限上界截断、乘上指数衰减因子的软截断,以及只保留高于某阈值的数据,是不同操作。本节的“上界截断”专指式(5.8-11)。把数值超过上界的观测一律记成上界称为删失或封顶记录,并非这个条件分布:那样会在上界出现点质量。统计分析前应说明数据产生或记录的方式。
无界帕累托模型取 \(x_{\min}=1\)、\(\alpha=3/2\),再条件化在 \(X\le4\) 上。求截断密度、均值和方差。
条件事件的概率为 \(1-4^{-3/2}=7/8\),所以截断密度在一到四之间为 \((12/7)x^{-5/2}\),区间外为零。分别积分一阶与二阶:
第一项积分等于一,第二项积分等于二。无界模型的均值为三、方差无限;截断后均值变为 \(12/7\),方差为 \(24/49\)。截断改变了原模型,产生另一个具有有限支持的概率分布。该结论依赖固定的真实上界,有限样本中尚未观察到更大值不足以证明上界存在。
5.8.6 重尾不等于幂律:对数正态
本书对非负随机变量采用以下常用约定:若对每个 \(t>0\),\(E[e^{tX}]=\infty\),则称它为重尾分布。也就是说,矩母函数在任何正参数处都不有限。与之相对,若存在某个正参数使该期望有限,称为轻尾。文献中的“重尾”还可能使用其他定义,引用时应说明约定。帕累托与式(5.8-8)的无界离散幂律都满足这里的定义:指数函数在大取值处的增长超过任何固定幂次。
对数正态提供一个不同的重尾例子。设 \(Z\sim N(\mu,\sigma^2)\)、\(\sigma>0\),令 \(X=e^Z\)。正态分布的指数矩或配方法给出,对任意 \(q>0\),
因此它所有正阶矩都存在。进一步,固定任意 \(a>0\),选取 \(q>a\)。在事件 \(X>x\) 上有 \(X^q\ge x^q\),故 \(E[X^q]\ge x^qP(X>x)\);这就是此处需要的马尔可夫不等式。由此得到
这排除了尾概率渐近为某个正指数纯幂函数的可能:若尾概率等价于 \(c x^{-\alpha}\)、\(c>0\),取 \(a=\alpha\) 就与上式矛盾。对数正态的尾概率下降快于任何负幂次,但仍不具有正参数处有限的矩母函数。
对任意固定 \(t>0\),在正态变量上积分得到
因为 \(e^z\) 的增长超过二次多项式,括号中的指数在 \(z\to\infty\) 时趋于正无穷。故被积函数在某个足够大的下界之后至少为一,在无限长区间上的积分发散。这里要求 \(\sigma>0\);当方差参数为零时,变量退化为一个常数,不属于本节的重尾例子。
有无有限方差,回答的是矩存在问题;是否幂律,回答的是尾部函数的形式问题;是否重尾,则依赖已声明的衰减定义。这些判断有关联,但不能把其中一个词作为其他条件的替代。上界截断帕累托在这里是轻尾,因为 \(E[e^{tX_T}]\le e^{tL}\) 对每个正参数均有限。
双对数图上接近直线只是一项初步诊断。有限取值范围、分箱方法及尾部少量观测都可能使曲线看起来接近直线;对数正态也可能在有限范围内与幂律难以区分。确认模型需要阈值选择、参数估计、拟合优度与候选分布比较。Clauset、Shalizi 与 Newman 给出了这样的统计分析框架 [2];学完统计估计与检验后,可沿专题路线阅读 19.8 节。本节的分布计算不依赖这些后续统计方法。
5.8.7 习题与解答
习题 5.8-1 对数变换与条件尾概率
设 \(X\) 服从下界 \(x_{\min}>0\)、尾指数 \(\alpha>0\) 的帕累托分布。求 \(Y=\log(X/x_{\min})\) 的分布;再求 \(P(X>tx\mid X>x)\),其中 \(x\ge x_{\min}\)、\(t\ge1\)。
变量 \(Y\) 非负。对 \(y\ge0\),事件 \(Y>y\) 等价于 \(X>x_{\min}e^y\),代入尾概率得到 \(P(Y>y)=e^{-\alpha y}\)。所以 \(Y\) 服从率参数为 \(\alpha\) 的指数分布,均值为 \(1/\alpha\);这也给出另一种帕累托随机数构造。
由于 \(tx\ge x\),条件概率等于 \(P(X>tx)/P(X>x)=t^{-\alpha}\)。分母为正,条件化合法。结论说明,在已超过阈值的条件下,进一步超过该阈值若干倍的概率与阈值本身无关。若模型有固定上界,则还须考虑超过上界的概率为零,这个精确关系不能照用。
习题 5.8-2 从矩条件判断指数
某无界帕累托模型满足 \(E[X^2]<\infty\) 而 \(E[X^3]=\infty\)。求尾指数 \(\alpha\) 以及密度指数 \(\beta\) 的可能范围,并判断均值、方差及三阶矩的边界。
正阶矩有限的充要条件是阶数严格小于尾指数,因此二阶矩有限要求 \(\alpha>2\),三阶矩无限要求 \(\alpha\le3\)。合并得到 \(2<\alpha\le3\)。密度指数比尾指数大一,所以 \(3<\beta\le4\),不能把同一数值范围直接用于两个指数。
尾指数大于二自然也大于一,故均值和方差都有限。上端 \(\alpha=3\) 仍允许,因为此时三阶矩的积分为常数倍的对数发散;下端 \(\alpha=2\) 被排除,因为它会使二阶矩发散。该推断使用的是无界帕累托模型,上界截断时所有正阶矩都有限,题设将不可能成立。
习题 5.8-3 离散归一化与尾指数
取 \(k_{\min}=2\)、\(\beta=2\)。已知 \(\sum_{j=1}^{\infty}j^{-2}=\pi^2/6\),求 \(P(K=2)\),判断 \(E[K]\) 与 \(E[K^{1/2}]\) 是否有限,并给出 \(P(K\ge k)\) 的大阈值渐近式。
从完整级数中去掉第一项,得到归一化常数 \(\zeta(2,2)=\pi^2/6-1>0\)。因此 \(P(K=2)=1/[4(\pi^2/6-1)]\)。概率质量指数是二,对应的尾指数是 \(\beta-1=1\)。一阶矩位于这个指数的边界,所以调和级数导致 \(E[K]=\infty\);半阶矩严格低于尾指数,因而有限。
按式(5.8-9),\(P(K\ge k)\sim1/[k(\pi^2/6-1)]\)。这是阈值趋于无穷的渐近表达。若在 \(k=2\) 处使用它,一般不会得到真实尾概率一;精确概率须保留从二起求和的全部级数。尾指数相同不意味着连续与离散模型的尾概率处处相同。
习题 5.8-4 矩公式在边界阶数处如何使用
取 \(x_{\min}=1\)、\(\alpha=2\)、上界 \(L=3\),构造上界截断帕累托变量 \(X_T\)。求它的均值、二阶矩及方差,并与无界模型比较。
归一化分母为 \(1-3^{-2}=8/9\),所以密度在一到三之间是 \((9/4)x^{-3}\)。一阶矩为 \((9/4)\int_1^3 x^{-2}\,dx=(9/4)(1-1/3)=3/2\)。二阶阶数等于尾指数,必须使用对数分支,得到 \(E[X_T^2]=(9/4)\log3\)。
方差为 \((9/4)(\log3-1)\),它为正且有限,因为 \(\log3>1\)。相比之下,无界帕累托模型的均值是二、二阶矩无限、方差无限。固定上界使二阶积分不再延伸到无穷;公式中等阶情形出现对数,表示积分原函数的形式,不表示有限上界处的矩发散。
关键术语
- 尾概率与尾指数:尾概率是 \(P(X>x)\);帕累托中按 \(x^{-\alpha}\) 衰减,尾指数为 \(\alpha\)。
- 密度指数与概率质量指数:连续密度或离散概率质量中的负幂次记为 \(\beta\);本节对应关系为 \(\beta=\alpha+1\),离散尾概率只渐近具有该尾指数。
- 上界截断:本节通过条件化在不超过固定上界的事件上定义,支持范围有限,所有正阶矩均有限。
- 重尾:本节约定为所有正参数处的矩母函数均不有限;对数正态在这一意义下重尾,但不具有正指数的幂律尾概率。
- 分位数与逆变换:由分布函数解出阈值,既用于概率计算,也用于构造指定分布的随机变量。
参考文献与延伸阅读
- M. E. J. Newman. Power laws, Pareto distributions and Zipf's law. Contemporary Physics, 2005, 46: 323–351。可对照不同指数约定及连续、离散幂律;本文的归一化、逆变换和矩判别均在正文中推导。
- Aaron Clauset, Cosma R. Shalizi, M. E. J. Newman. Power-law distributions in empirical data. SIAM Review, 2009, 51: 661–703。用于进一步学习阈值、估计、拟合优度和分布比较;双对数图的直线外观不能替代这些统计步骤。