主要先修:5.8 幂律、帕累托与离散幂律、16.1 统计模型、似然与可识别性、17.2 矩估计与最大似然估计、18.1 检验、功效与p值、18.4 精确置信区间与非渐近保证
精确似然与区间部分使用上列先修;19.8.3 的正态极限另用 10.3 节的 delta 方法、10.5 节的大数定律及 10.6 节的中心极限定理,余项记号见 19.1 节的随机阶。本节属于幂律与重尾专题路线,模型比较部分给出适用条件,完整的非嵌套理论参见参考文献[3]。
19.8.1 固定阈值下的尾部似然
5.8 节讨论了帕累托分布的概率性质。现在问一个统计问题:给定数据,尾指数应怎样估计,拟合是否与数据相容?先处理条件清楚的情形。阈值 \(u>0\) 在观察数据之前已经确定,\(X_1,\ldots,X_n\) 独立同分布,且条件尾部模型精确为
这里的样本是超过阈值的观测,\(n\) 是尾部样本量。若原始样本还包含阈值以下的观测,可在预定阈值下筛出超越值,给定入选标记和尾部个数后使用这个条件模型。它没有要求阈值以下也服从帕累托。没有超越值时,不能估计尾指数。
记 \(T=\sum_{i=1}^n\log(X_i/u)\)。对数似然、得分及二阶导数为
当 \(n\ge1\) 且 \(T>0\) 时,全局最大似然估计为
令式(19.8-2)的得分为零得到唯一驻点。二阶导数严格负,说明对数似然严格凹;当参数从正侧趋于零时,对数项趋于负无穷;当参数趋于无穷且 \(T>0\) 时,线性负项超过对数项,对数似然也趋于负无穷。因此驻点是唯一全局极大点。在连续帕累托模型下,\(T>0\) 几乎必然成立。若实际记录中所有观测都恰好等于阈值,则 \(T=0\),似然无有限极大点,须检查舍入、数据记录及模型是否匹配。
本书的 \(\alpha\) 是尾指数,密度指数为 \(\beta=\alpha+1\)。参考文献 [1] 以密度指数为主要参数,因而其连续估计公式多出一;这只是参数约定的区别。
19.8.2 指数变换与精确置信区间
令 \(Y_i=\log(X_i/u)\)。对 \(y\ge0\),\(P(Y_i>y)=P(X_i>ue^y)=e^{-\alpha y}\),因此
指数分布的参数在此是率参数。独立指数变量的和为 Gamma 分布,形状参数为 \(n\),率参数为 \(\alpha\)。标准化给出与未知参数无关的枢轴:
单个指数变量的拉普拉斯变换在 \(s\ge0\) 时为 \(\alpha/(\alpha+s)\),独立求和使其变为该式的 \(n\) 次幂。这是形状 \(n\)、率 \(\alpha\) 的 Gamma 分布的拉普拉斯变换。再按比例变换密度,\(2\alpha T\) 的形状为 \(n\)、率为 \(1/2\),与自由度 \(2n\) 的卡方密度一致。全过程使用的是对数变换变量的分布,无需原始变量具有均值或方差。
记 \(q_{r,\nu}\) 为自由度 \(\nu\) 的卡方分布的 \(r\) 分位数,取 \(0<\delta<1\)。枢轴落在两个分位数之间的概率为 \(1-\delta\),解出尾指数,得到
这是正确模型、已知固定阈值下的精确覆盖率。区间的两个端点均为正;若由预定阈值筛选出随机个数的超越值,可给定正的尾部个数使用对应自由度的条件枢轴。由同一数据选出阈值时,下面这个推导不能直接照用。
设阈值已知为 \(u=1\),数据为 \(1,e,e^2,e^3\)。求尾指数 MLE 和百分之九十五的精确置信区间。
对数比值依次为零、一、二、三,总和为六,样本量为四。因此 \(\widehat\alpha=4/6=2/3\),自由度为八。卡方分位数为 \(q_{0.025,8}\approx2.179730747\)、\(q_{0.975,8}\approx17.53454614\),代入式(19.8-6):
这是为了展示枢轴反演的教学数据,四个观测不足以有力区分多个尾部模型。点估计小于一,不等于已经确定总体均值无限;区间还包含大于一的参数值。区间本身则以帕累托模型为条件,没有检验模型是否成立。
19.8.3 原始数据无限矩与估计量的正态极限
固定 \(\alpha>0\) 与预定 \(u>0\),让独立尾部样本量趋于无穷。在精确帕累托模型中,变换后的指数变量均值、方差始终有限。由大数定律与中心极限定理,
估计量是 \(g(\overline Y_n)\),其中 \(g(y)=1/y\)。真均值严格为正,所以可以在其邻域作一阶展开;大数定律保证样本平均以趋于一的概率进入该邻域。导数为 \(g'(1/\alpha)=-\alpha^2\)。按 10.3 节 的 delta 方法与 Slutsky 定理,
这里 \(o_P(1)\) 表示依概率趋于零的余项,正式定义与运算见 19.1 节。
方差是导数平方与输入极限方差的乘积,即 \(\alpha^4/\alpha^2=\alpha^2\)。因此尾指数的渐近标准误可估计为 \(\widehat\alpha/\sqrt n\)。同理,对估计量取对数后,标准化极限方差为一,可构造保持正端点的对数尺度渐近区间。这里的 \(\alpha^2\) 是标准化估计误差的极限方差,并非有限样本中估计量的方差恰等于 \(\alpha^2/n\)。
即使 \(0<\alpha\le1\) 时原始 \(X_i\) 均值无限,或 \(1<\alpha\le2\) 时原始方差无限,式(19.8-9)仍然成立。它使用的是 \(\log(X_i/u)\) 的有限方差。对原始样本平均不能使用的有限方差中心极限定理,仍可用于合适的变换统计量。这个结论要求独立同分布、固定已知阈值和精确帕累托模型;阈值随样本选择、存在慢变化修正或观测相关时,要重新证明相应估计理论。
对得分也可核对结果。单个观测的得分为 \(1/\alpha-Y_i\),Fisher 信息及其逆为
精确分布还揭示小样本偏差:对 Gamma 密度积分,有 \(E[T^{-1}]=\alpha/(n-1)\)(\(n>1\))及 \(E[T^{-2}]=\alpha^2/[(n-1)(n-2)]\)(\(n>2\))。于是
这与渐近方差近似一致,但在小样本时有差别。具体地,一个观测时该估计量期望无限,两个观测时方差无限;变换变量本身的有限方差并不保证它的倒数统计量在任意样本量下具有有限方差。
19.8.4 不能直接沿用连续固定阈值公式的情形
未知支持下界。若全样本确实来自同一个纯帕累托模型,但下界也未知,似然包含 \(u\le X_{(1)}\) 的支持约束。对固定尾指数,它随下界递增,所以联合 MLE 满足
这里假定 \(n\ge2\) 且观测不全相同,使分母为正。这个支持随参数变化的问题与预定阈值不同。分母包含由同一数据算出的最小值,已不再是 \(n\) 个独立指数变量的直接和,不能套用自由度 \(2n\) 的已知阈值枢轴。若分布体根本不服从帕累托,把样本最小值当成尾部起点也没有模型依据。
离散计数。对整数 \(K_i\ge k_{\min}\),使用 5.8.4 节 的归一化概率质量函数。固定整数下界后,对 \(\beta>1\) 的对数似然与得分方程为
通常需要数值求解,并在 \(\beta>1\) 的参数范围内检查全局最优。二阶导数等于 \(-n\operatorname{Var}_\beta(\log K)\),有限参数处严格为负;若所有计数都等于下界,则只有参数趋于无穷时的上确界,没有有限 MLE。离散质量指数的估计不能直接使用式(19.8-3),尾指数也要按 \(\alpha=\beta-1\) 换算。
19.8.5 经验尾概率、KS 距离与阈值选择
经验尾概率不需要分箱。为方便标出阶梯端点,本节用“大于或等于”的约定:
连续总体在单点的概率为零,因此理论尾概率用严格或非严格不等号相同;经验函数则在观测值处不同,绘图时应保持同一约定。尾部经验点共享大量观测,误差相互相关;概率接近零时,取对数也会放大误差。对直方图或经验尾概率直接做双对数最小二乘回归,通常不满足普通回归的同方差、独立误差假设,而且拟合优度高不能证明抽样分布是幂律。对数正态在有限范围内也可能表现出近似直线。
若阈值没有由外部知识固定,可预先规定候选集合及最小尾部样本量 \(m_{\min}\)。设全样本为 \(Z_1,\ldots,Z_N\),在候选阈值 \(v\) 处保留 \(n_v\) 个 \(Z_i\ge v\) 的值。对每个候选值拟合尾指数,并用条件经验分布函数 \(F_{n_v,v}\) 计算
阈值选择规则可写为
候选阈值的生成规则、尾部数量下限以及距离相同时的选择规则,均应事先固定;还须排除对数总和为零的退化候选。如果候选集合为空,应报告无法执行拟合。尾部数量下限用于避免靠极少数据取得表面好拟合,它没有对所有分布都通用的数值。阈值越高,近似尾部模型可能更合适,但用于估计与辨别模型的观测也越少。下一节将从一般正则变化模型进一步讨论这个取舍。
沿用例19.8-1的数据,这次把候选阈值预设为 \(1,e,e^2\),并为演示计算取 \(m_{\min}=3\)。比较各候选的 KS 距离。这里的数量下限只用于手算,不作为实际分析建议。
阈值一保留四个值,拟合尾指数 \(2/3\)。令排序值为 \(x_{(j)}\),连续拟合分布为 \(F_v\),经验分布阶梯左右两侧给出精确算法:
在阈值一时,拟合分布在四个观测处分别为 \(0,1-e^{-2/3},1-e^{-4/3},1-e^{-2}\)。最大差在第一点右侧,为 \(D(1)=1/4\)。阈值 \(e\) 保留三个值,对数比值为零、一、二,所以拟合尾指数为一;拟合分布值为 \(0,1-e^{-1},1-e^{-2}\),最大差在第一点右侧,为 \(D(e)=1/3\)。阈值 \(e^2\) 只保留两个观测,不满足数量下限。
该规则选出阈值一、距离 \(1/4\)。最小距离本身没有附带一个标准 KS 的 p 值:尾指数和阈值均由这些数据拟合。若要估计校准后的 p 值,需要把这套筛选过程也纳入模拟。
19.8.6 半参数 Bootstrap 与近似校准
已拟合参数后,不能把经验分布与一个完全已知分布比较时的标准 KS 临界值直接拿来用;数据选阈值又增加了一步选择。参考文献 [1] 的半参数模拟框架保留分布体的经验形状,同时在拟合阈值以上生成帕累托值。本节将候选规则与最小尾部数量也视为统计程序的一部分。
记 \(\widehat\pi=n_{\widehat u}/N\),令 \(\widehat G_{<\widehat u}\) 是阈值以下数据的经验分布。用于生成完整模拟样本的分布为
独立重复生成 \(N\) 个观测:按概率 \(\widehat\pi\) 从拟合尾部分布抽取,其余从阈值下的经验分布有放回抽取。若没有阈值下观测,则混合权重为零,无需定义或抽取这一分支。在每个完整模拟样本上,按原来的候选生成规则和尾部数量下限重新选阈值、重新估尾指数,并重新求最小 KS 距离 \(D_b^*\)。原始样本的距离记为 \(D_{\mathrm{obs}}\)。如果某次模拟无有效候选,可事先约定将距离记为无穷并报告失败比例;原样本无有效候选时不执行检验。不能静默丢弃失败模拟后仍声称模拟了原程序。
对 \(B\) 次独立模拟,可用带有限模拟修正的计数表达:
该值最小为 \(1/(B+1)\),避免把零次超越报告为概率零。这里的生成分布用同一数据估计,观测统计量与模拟统计量并不构成已知零假设下的交换序列,因此“加一”没有把半参数 Bootstrap 变成有限样本精确检验。其校准依赖模型、拟合程序及相应 Bootstrap 的有效性;极少尾部数据、退化候选或阈值选择不稳定时,需要额外评估。
固定已拟合生成分布后,设模拟距离超过观测距离的条件概率为 \(p_*\)。纯模拟计数的误差量级为
增加 \(B\) 可缩小模拟误差,却不增加真实尾部样本量,也不能消除模型失配或校准误差。应报告尾部样本数、阈值、指数估计、模拟次数及事先采用的显著性水平。未拒绝只说明当前检验未发现足够大的偏离,不能证明幂律成立。
19.8.7 在共同数据与支持范围上比较模型
拟合优度与模型比较回答不同问题。前者检查某个模型能否解释观测偏离;后者比较几个候选的相对表现。所有候选须使用同一批尾部观测、同一预定阈值和同一基准测度,并把条件密度正确归一化。不能让每个候选自行删掉不同观测,再直接比较所得似然。
例如,对同一个固定 \(u>0\),连续帕累托可与条件对数正态比较。对数正态在 \(x\ge u\) 的密度为
分母的尾概率随参数变化,必须进入拟合目标,不能先按无条件模型拟合,再只把结果曲线截去一段。还可比较指数软截断幂律:
这里的“截断”专指指数软截断,支持仍是无界的;\(\lambda=0\) 时恢复帕累托。它不同于5.8节的固定上界截断。若已知共同观测区间是 \([u,L]\),所有模型都应条件化在这个区间,分母换成该区间上的积分;不能把样本最大值临时当成已知上界而忽略选择影响。
在共同支持上分别拟合两个候选,定义逐点对数似然差 \(r_i\)、总差 \(R\) 和其标准化形式:
正的总差表示第一个候选取得较大的样本似然,但符号本身不提供错误概率。Vuong 的非嵌套模型理论 [3] 在独立同分布、固定比较范围、候选具有唯一可识别的内部总体最优点、估计及局部展开正则、各模型的总体最优参数处逐点对数密度差具有有限正方差等条件下,检验两个候选的期望对数评分相等;相应标准化量可有标准正态极限。这里是渐近校准,不是把 \(2R\) 机械地当成某个自由度的卡方变量。
候选重叠、逐点差方差为零或参数在边界时,要采用相应理论。特别地,帕累托是式(19.8-22)在边界 \(\lambda=0\) 的子模型;普通内部点 Wilks 定理不能直接给出其卡方校准。重尾本身也不保证对数密度差具有有限方差,例如软截断相对帕累托的差包含原始 \(X_i\) 的线性项。若阈值由数据选择,固定阈值的模型比较理论还遗漏了选择步骤,可用独立数据预定阈值,或对完整选择程序另作校准。多个候选均未被排除或比较差异不明确时,应如实报告尚不能辨别。
19.8.8 习题与解答
习题 19.8-1 MLE 的偏差与无偏修正
在已知固定阈值的连续帕累托模型中,\(n>1\)。证明 \(\widetilde\alpha=(n-1)/T\) 无偏,并对例19.8-1求它的数值。为什么不能据此宣称它在所有样本量下都具有有限方差?
Gamma 密度为 \(\alpha^nt^{n-1}e^{-\alpha t}/\Gamma(n)\)。乘上 \(t^{-1}\) 后积分,得到 \(E[T^{-1}]=\alpha\Gamma(n-1)/\Gamma(n)=\alpha/(n-1)\),其中要求 \(n>1\)。再乘以 \(n-1\),得无偏性。算例的 \(n=4,T=6\),修正后为 \(3/6=1/2\),不同于 MLE 的 \(2/3\)。
方差需要二阶矩。对逆 Gamma 积分,只有 \(n>2\) 才有 \(E[T^{-2}]<\infty\)。因此两个观测时,无偏修正的方差仍为无穷。无偏只约束一阶期望,不等于小样本波动已受控,也没有检验所假定的帕累托模型。
习题 19.8-2 无限总体均值下的估计量正态性
设固定阈值下的真实尾指数为 \(\alpha=3/4\)。原始均值是否有限?推导尾指数 MLE 的标准化极限方差。若有四百个独立尾部观测、估计值也为 \(3/4\),给出常规百分之九十五 Wald 近似区间,并说明其适用条件。
原始帕累托均值有限要求尾指数大于一,所以本题总体均值无限。对数变换后的变量却是率 \(3/4\) 的指数变量,均值为 \(4/3\)、方差为 \(16/9\)。倒数函数在 \(4/3\) 处的导数为 \(-9/16\),其平方乘以输入方差等于 \(9/16=\alpha^2\)。因此 \(\sqrt n(\widehat\alpha-\alpha)\) 趋于方差 \(9/16\) 的零均值正态分布。
渐近标准误估计为 \((3/4)/20=0.0375\),常规区间为 \(0.75\pm1.96\times0.0375\),即 \([0.6765,0.8235]\)。这里使用独立同分布、正确的精确帕累托模型和固定已知阈值;区间仅有渐近覆盖率。若需要该模型下的精确覆盖率,应使用式(19.8-6);不能把这项结论转用于原始样本平均。
习题 19.8-3 模拟完整样本还是固定尾部个数
全样本一百个观测,拟合阈值以上有三十个,以下有七十个。描述式(19.8-18)的一个模拟样本如何生成,给出模拟尾部个数的分布,并解释为什么每次都固定生成三十个尾部值会改变校准程序。
每个模拟观测独立以概率 \(0.3\) 从拟合帕累托抽取,以概率 \(0.7\) 从原样本阈值下的七十个值中等概率有放回抽取。帕累托值可用逆变换 \(\widehat u(1-U)^{-1/\widehat\alpha}\) 生成,其中 \(U\) 是零到一之间的均匀变量。相对原拟合阈值,模拟尾部个数服从 \(\operatorname{Bin}(100,0.3)\),均值三十、方差二十一。
固定尾部个数会移除混合抽样的一部分随机性,得到的是另一种条件模拟程序。它并非必然不可用,但须明确新的条件化目标及校准依据,不能声称与本节完整样本流程相同。生成完整样本后,还要按原候选规则重新选择阈值并拟合;新的所选阈值对应的尾部个数未必等于相对旧阈值计算的个数。
习题 19.8-4 遗漏归一化可能改变模型比较
四个观测均至少为预定阈值 \(u=e\)。将帕累托与参数暂固定为 \(\mu=0,\sigma=1\) 的对数正态比较。若错误使用无条件对数正态密度得到总对数似然差 \(R_{\mathrm{raw}}=2\),已知其尾概率 \(q=P(X\ge e)\approx0.158655254\),求正确条件化后的差。
条件对数正态密度等于无条件密度除以尾概率,所以每个观测的对数密度增加 \(-\log q\)。帕累托一侧不变,正确总差为 \(R=R_{\mathrm{raw}}+4\log q\)。代入 \(\log q\approx-1.841021645\),得到 \(R\approx-5.364087\),符号由正变负。遗漏归一化会实质改变比较。
本题暂固定参数,只用于展示条件密度的代数。实际拟合时,尾概率随对数正态参数变化,必须在条件似然中重新估计参数,不能沿用无条件拟合结果。即使得到正确的样本似然差,还需要判断波动和比较规则;其符号不直接证明某个模型正确。
关键术语
- 条件尾部模型:只描述超过指定阈值的分布;分布体可以采用不同模型或经验分布。
- 尾指数 MLE:固定已知阈值的连续帕累托中,为对数超越比均值的倒数;离散计数需要另写归一化似然。
- 精确枢轴:已知阈值时,\(2\alpha T\) 服从自由度 \(2n\) 的卡方分布,可反演精确区间。
- 阈值选择与半参数 Bootstrap:拟合分布体与尾部的混合分布,并在每次模拟中重复完整筛选和拟合;本节只作近似校准。
- 共同支持与条件密度:候选使用同一观测范围,每个密度均在该范围内归一化;非嵌套比较和边界问题各需相应理论。
参考文献与延伸阅读
- Aaron Clauset, Cosma R. Shalizi, M. E. J. Newman. Power-law distributions in empirical data. SIAM Review, 2009, 51: 661–703。第3至5节讨论拟合、阈值、半参数模拟和候选比较;其主要指数约定是密度指数。本节的精确 Gamma 区间与 delta 推导已在正文展开。
- M. E. J. Newman. Power laws, Pareto distributions and Zipf's law. Contemporary Physics, 2005, 46: 323–351。用于对照连续与离散分布的指数、尾概率及参数约定。
- Quang H. Vuong. Likelihood ratio tests for model selection and non-nested hypotheses. Econometrica, 1989, 57(2): 307–333。非嵌套、重叠与嵌套比较分别有不同的渐近情形;引用时须核查可识别性及对数密度差的方差条件。