主要先修:8.5 其他不等式、16.2 正态抽样、枢轴量与精确分布、18.1 检验、功效与p值。
精确区间由16.2的枢轴与18.1的检验反演构造。有界均值区间另用8.5的不等式,这条路线不要求先完成一般MLE渐近理论。 查看全书依赖图与分支路线。
18.4.1 区间随机性与覆盖要求
在模型 \(\{P_\theta:\theta\in\Theta\}\) 中,目标为实值 \(g(\theta)\),\(0<\alpha<1\)。随机区间 \(C(X)=[L(X),U(X)]\) 的覆盖率是 \(P_\theta(g(\theta)\in C(X))\)。称它具有置信水平至少 \(1-\alpha\),如果对每个模型参数均有
目标参数固定,区间端点随抽样变化。保证的范围包含模型假设、固定样本量以及全部相关干扰参数。
使用有限样本真实分布的方法常称“精确方法”,但离散分布下覆盖率通常大于标称水平。连续枢轴区间可以恰好覆盖 \(1-\alpha\);集中不等式给出覆盖下界;渐近区间则只承诺适当样本量极限中的性质。一次观测得到的具体区间不能自动解释为参数落入其中的后验概率。检验反演的覆盖证明沿用18.1节。
18.4.2 正态均值与方差的精确枢轴区间
设 \(X_1,\ldots,X_n\) 独立同分布于 \(N(\mu,\sigma^2)\),\(n\ge2\)、\(\sigma^2>0\),两参数均未知。记 \(\nu=n-1\)、\(S^2=\sum_i(X_i-\bar X)^2/\nu\)。16.2节已推导 \(\sqrt n(\bar X-\mu)/S\sim t_\nu\) 及 \(\nu S^2/\sigma^2\sim\chi^2_\nu\)。本节分位数 \(q_{v,r}\) 均按左尾概率 \(r\) 定义,不把上尾概率直接代入。
记 \(t_{\nu,r}\) 为 t 分位数、\(q_{\nu,r}\) 为卡方分位数。均值与方差各自的 \(1-\alpha\) 区间为
每个区间对模型中的全部均值与正方差,覆盖率都恰为 \(1-\alpha\)。标准差区间由方差端点取正平方根得到。
t 分布连续且对称,\(P(|T|\le t_{\nu,1-\alpha/2})=1-\alpha\);由于 \(S>0\) 几乎必然,反解不等式即得到式(18.4-2)。卡方分布连续且正,事件 \(q_{\nu,\alpha/2}\le\nu S^2/\sigma^2\le q_{\nu,1-\alpha/2}\) 也恰有该概率。将正的未知方差移项,较大的分位数进入下端点,较小的进入上端点,得到式(18.4-3)。无需令样本量趋于无穷。
设正态模型下观测为 \(1,2,3\),则 \(n=3\)、\(\bar x=2\)、\(s^2=1\)。95%区间用 \(t_{2,0.975}\approx4.30265273\),均值区间为 \(2\pm4.30265273/\sqrt3\),约 \([-0.48413771,4.48413771]\)。对 \(\chi^2_2\),分位数可直接写成 \(q_{2,r}=-2\log(1-r)\),因此 \(q_{2,0.025}\approx0.05063562\)、\(q_{2,0.975}\approx7.37775891\),方差区间约为 \([0.27108503,39.49789021]\)。三个观测提供的方差信息有限,精确区间相应很宽。
这两个95%保证是各自的边际保证,不能直接把它们拼成联合95%保证。若需要同时覆盖均值与方差,可分别采用97.5%区间,再由并集界保证联合覆盖至少95%。一般非正态总体不能直接沿用精确 t 和卡方律。
18.4.3 二项尾反演与 Clopper–Pearson 区间
设 \(T\sim\operatorname{Bin}(n,\rho)\),\(n\ge1\),未知成功概率 \(\rho\in[0,1]\)。观测为整数 \(k\)。Clopper–Pearson 等尾区间将两个方向的错误概率各分配 \(\alpha/2\)。对 \(k>0\),下端点由 \(P_{L_k}(T\ge k)=\alpha/2\) 决定;对 \(k<n\),上端点由 \(P_{U_k}(T\le k)=\alpha/2\) 决定。相关尾概率对参数严格单调,方程有唯一解。
记 \(B_r(a,b)\) 为 \(\operatorname{Beta}(a,b)\) 的左尾 \(r\) 分位数,其中形状参数 \(a,b>0\)。端点公式为
边界单独处理,不能调用形状参数为零的 Beta 分布。Beta 分位数只是二项尾方程的一种计算方式,不赋予这些区间贝叶斯后验解释。
公式可由二项尾与 Beta 积分核对。对 \(k\ge1\),对 \(P_\rho(T\ge k)\) 求导,得到 \(n!\rho^{k-1}(1-\rho)^{n-k}/[(k-1)!(n-k)!]\),恰为 \(\operatorname{Beta}(k,n-k+1)\) 的密度;两者在 \(\rho=0\) 都为零,故积分相等。下尾则等于相应 Beta 分布函数的补值。
对每个 \(\rho\in[0,1]\),都有 \(P_\rho(L_T\le\rho\le U_T)\ge1-\alpha\)。
固定 \(0<\rho<1\)。若 \(L_T>\rho\),上尾关于参数单调增加,使 \(P_\rho(T'\ge T)<\alpha/2\),其中 \(T'\) 表示按同一参数计算的参考二项变量。这个尾概率是18.1节证明有效的 p 值,故事件概率不超过 \(\alpha/2\)。同理,\(U_T<\rho\) 蕴含下尾 \(P_\rho(T'\le T)<\alpha/2\),反向统计量的有效尾 p 值使其概率也不超过 \(\alpha/2\)。并集界给出漏覆盖概率不超过 \(\alpha\)。在 \(\rho=0\) 或1时,观察必在对应边界,区间始终包含真值,覆盖为1。闭区间还保留了端点等号,因此结论对全部参数成立。
观测 \(k=0\) 时,方程 \((1-U_0)^n=\alpha/2\) 给出 \(U_0=1-(\alpha/2)^{1/n}\);\(k=n\) 时,\(L_n=(\alpha/2)^{1/n}\)。对 \(n=10,\alpha=0.05\),零成功的双侧95%区间为 \([0,0.30849711]\),全部成功为 \([0.69150289,1]\)。未观察到成功并不证明真实成功概率为零。若构造单侧95%上界,应将 \(\alpha/2\) 换成 \(\alpha\),得到约0.25886555。
观测5次成功时,等尾区间约为 \([0.18708603,0.81291397]\)。在真概率 \(\rho=1/2\) 下,只有总数 \(2,3,\ldots,8\) 的区间覆盖该值,所以实际覆盖率为
这是精确概率枚举,不是模拟覆盖率。离散边界的跳跃使非随机化等尾区间保守;它并未恰好达到95%。
18.4.4 指数率与均值的 Gamma 枢轴
设固定样本量 \(n\ge1\),\(X_i\) 独立服从率为 \(\lambda>0\) 的指数分布,密度 \(\lambda e^{-\lambda x}\mathbf1_{\{x>0\}}\),均值 \(m=1/\lambda\)。观测全部等待时间,没有删失或按观察到的事件数停止。记 \(W=\sum_iX_i\),则 \(W\sim\operatorname{Gamma}(n,\lambda)\),这里采用形状/率参数化,密度为 \(\lambda^n w^{n-1}e^{-\lambda w}/\Gamma(n)\)。
Gamma 可加性与缩放见6.3节。于是 \(\lambda W\sim\operatorname{Gamma}(n,1)\),且 \(2\lambda W\sim\chi^2_{2n}\)。从连续枢轴的中央概率事件反解,得到各自恰有 \(1-\alpha\) 覆盖的区间:
观测时间为 \(1,2,3\),因此 \(W=6\)、\(n=3\)。95%区间使用自由度6的卡方分位数 \(q_{6,0.025}\approx1.23734425\)、\(q_{6,0.975}\approx14.44937534\)。率区间约为 \([0.10311202,1.20411461]\),均值时间区间约为 \([0.83048573,9.69819033]\)。后一对端点是前一对端点的倒数,取倒数后顺序必须交换。率的单位是时间的倒数,均值的单位是时间。
本例数据与正态算例相同,但模型和估计目标不同,产生不同区间。指数样本并不要求正态总体,也不需要正态近似。固定时间观察中的事件计数或含删失数据对应不同的抽样实验,不能只按观察数把自由度直接替换为 \(2n\)。
18.4.5 有界总体均值的 Hoeffding 区间
设 \(X_i\) 独立同分布,已知有限常数 \(a<b\),且 \(a\le X_i\le b\) 几乎必然。目标 \(\mu=EX_i\),取 \(0<\alpha<1\),令
则对满足条件的每一个总体分布,\(P(\mu\in C_H)\ge1-\alpha\)。它没有指定总体密度形状,但仍要求独立抽样和已知界。
8.5节的 Hoeffding 不等式给出 \(P(|\bar X-\mu|\ge r)\le2e^{-2nr^2/(b-a)^2}\)。代入 \(r=r_n\),右侧恰为 \(\alpha\)。闭区间的漏覆盖事件为误差严格大于 \(r_n\),它包含于上述尾事件;又 \(\mu\in[a,b]\),与已知参数范围求交不会排除真值。因此得到所需有限样本覆盖下界。截断原始样本或用观测最大最小值代替事先已知界,并不属于这个证明。
例如100个独立同分布的 \([0,1]\) 分数,观测均值0.37。95%区间半宽为 \(\sqrt{\log40/200}\approx0.13581015\),得到 \([0.23418985,0.50581015]\)。若希望未截断半宽至多0.05,只需固定样本量 \(n\ge\lceil\log40/(2\cdot0.05^2)\rceil=738\)。保证对连续、离散及混合有界总体均成立,但实际覆盖通常高于95%,区间可能比指定参数模型的区间宽。
18.4.6 四类保证的比较
| 构造 | 主要条件 | 覆盖结论 |
|---|---|---|
| t/卡方枢轴 | iid 正态;正确自由度 | 各参数区间恰为标称水平 |
| Clopper–Pearson | 固定样本量二项模型 | 至少标称水平,通常保守 |
| Gamma 枢轴 | 固定数目的独立完整指数时间 | 率或均值区间恰为标称水平 |
| Hoeffding | 独立同分布有界观测,界事先已知 | 全体允许分布的有限样本覆盖下界 |
渐近正态区间的适用条件另见第19章。任何一种保证都要按其抽样实验解释:两次95%边际覆盖不自动得到95%联合覆盖;固定样本量的区间不自动成为任意停时都有效的区间。区间宽度和覆盖率应一起比较,不能把更短的区间直接称为更准确的区间。
习题与解答
习题18.4-1 零成功上界(计算)
20次独立伯努利观测均为零,分别求双侧95% Clopper–Pearson 上端点与单侧95%上界。为什么两者不同?
双侧区间将每侧错误预算设为0.025,故上端点为 \(1-0.025^{1/20}\approx0.16843347\)。单侧上界把全部0.05分配给这一个方向,得到 \(1-0.05^{1/20}\approx0.13910834\)。二者均包含下界0,但前者要求同时控制两个方向的错误,因此上界更高。观测零成功只限制可能概率的大小,不使未知概率确定等于零。
习题18.4-2 正态方差分位数顺序(辨析)
有人把方差区间写成 \([\nu S^2/q_{\nu,\alpha/2},\nu S^2/q_{\nu,1-\alpha/2}]\)。指出错误,并说明为什么取平方根可以得到标准差区间。
卡方低尾分位数较小,作为正分母时产生较大的商,所以所写端点次序颠倒。正确下界应除以高尾分位数,上界除以低尾分位数。目标标准差是正方差的严格递增函数,事件 \(L\le\sigma^2\le U\) 与 \(\sqrt L\le\sigma\le\sqrt U\) 完全等价,因此覆盖率保持不变。若做倒数变换,则函数递减,必须额外交换端点。
习题18.4-3 指数率区间的单位(计算、条件)
沿用例18.4-3,把所有时间由小时改为分钟。计算率区间与均值区间的变化。若第三个时间只有“超过3小时”的记录,能否仍照用原区间?
所有时间乘以60,总和从6小时变成360分钟。式(18.4-6)的率端点除以60,约为 \([0.00171853,0.02006858]\) 每分钟;均值端点乘以60,约为 \([49.82914370,581.89141983]\) 分钟。若第三个观测删失,只知道下界而非完整时间,则总和不再是三个完整指数观测之和,原卡方枢轴不适用。必须按删失信息重新构造似然与抽样分布。
习题18.4-4 Hoeffding 样本量与覆盖(证明、计算)
总体取值已知在 \([-1,1]\),希望95% Hoeffding 区间未截断半宽不超过0.1。求样本量下界,并证明与 \([-1,1]\) 求交不会降低覆盖率。
已知范围宽为2,所以要求 \(2\sqrt{\log40/(2n)}\le0.1\),等价于 \(n\ge200\log40\approx737.77589082\),最小整数为738。对任何允许总体,真实均值也位于 \([-1,1]\)。因此真值属于原始区间时必然也属于它与已知范围的交集,反过来亦成立,覆盖事件完全相同。这项裁剪不同于把原始数据截断后再估计原均值,后者会改变估计目标。
关键术语
- 覆盖率:固定真参数下,随机区间包含目标值的抽样概率。
- 置信水平:方法承诺的覆盖概率下界。
- 精确区间:使用真实有限样本分布或严格尾反演构造的区间。
- 保守区间:实际覆盖高于标称水平的区间方法。
- 枢轴量:含数据与参数,但抽样分布不含未知参数的函数。
- 左尾分位数:按分布函数概率定义的临界值,须与上尾约定区分。
- Clopper–Pearson 区间:反演二项等尾检验得到的非随机化覆盖区间。
- 形状/率参数化:Gamma 密度以形状控制幂次、以率控制指数衰减的表示。
- 分布无关保证:对指定条件允许的所有总体分布同时成立的覆盖下界。
参考文献
- NIST/SEMATECH,Confidence Limits for the Mean及Chi-Square Test for the Variance。用于正态均值与方差枢轴的区间公式。
- NIST,Technical Note 2119: Estimating Instrument Performance with Confidence Intervals and Confidence Bounds,§4.1与§5.3。用于 Clopper–Pearson 的二项尾方程及 Beta 计算表示;本节覆盖结论采用不等式并给出证明。
- Charles J. Geyer,University of Minnesota,Coverage of Confidence Intervals。通过精确二项枚举讨论 Clopper–Pearson 的保守覆盖。
- Peter Bartlett,UC Berkeley CS281B/Stat241B,Lecture 4,2014。Hoeffding 不等式及有界独立变量的尾概率控制。
- Penn State STAT 414,Exponential, Gamma and Chi-Square Distributions。用于指数等待时间、Gamma 与卡方分布的关系;本节按形状/率统一记号。