主要先修：10.2 事件的无穷次发生与随机级数、10.5 大数定律的证明与适用边界、10.6 中心极限定理及其推广、19.1 随机阶与渐近展开、19.5 分位数、极值与非标准极限、19.6 经验分布、一致收敛与同时置信带。
均值的条件CLT依靠10.2的Borel–Cantelli及10.5–10.6的极限定理；中心化语言来自19.1，端点反例接19.5。它与核估计、U统计量是并列方法；14.3可用于补读模拟误差。 查看全书依赖图与分支路线。
22.3.1 给定原样本后重抽样
自助法（bootstrap）用估计的抽样模型近似统计量的抽样分布，再用模拟计算这个近似模型。本节从iid观测\(X_1,\ldots,X_n\sim P\)出发，非参数自助法的估计模型是经验分布\(P_n=n^{-1}\sum_i\delta_{X_i}\)。给定原样本后，独立抽取
这等价于在n个观测下标上均匀、有放回抽取n次；重复值的质量按出现次数相加。星号标记计算中的重抽样变量，\(P^*,E^*,\operatorname{Var}^*\)表示给定原数据后的条件概率、期望与方差。对每个重抽样数据重新执行规定的估计流程，得到\(\widehat\theta_n^*\)。
若原统计误差的尺度为\(a_n\)，常见目标是以条件分布\(\mathcal L^*\{a_n(\widehat\theta_n^*-\widehat\theta_n)\}\)逼近真实抽样分布\(\mathcal L_P\{a_n(\widehat\theta_n-\theta(P))\}\)。条件分布随原样本变化，因此其逼近误差本身是随机量。
中心化、尺度和所选误差分布都属于方法的组成部分。仅知道\(P_n\)的CDF一致逼近真实CDF，不能保证任意统计泛函的重抽样有效；极值与退化统计量会给出反例。重抽样不增加原始信息，增加重复次数只提高对这个条件分布的计算精度。
22.3.2 样本均值的精确条件矩
令\(\bar X=n^{-1}\sum_iX_i\)，经验方差\(v_n=n^{-1}\sum_i(X_i-\bar X)^2\)。重抽样均值具有精确条件矩：
证明。每个重抽样观测的条件均值为经验均值、条件方差为经验方差。给定原样本后n项独立，平均值的方差是单项方差除以n，即得结论。无条件下各重抽样项共享原样本，一般不独立，不能删除这里的条件。证毕。
原数据为\((0,0,1)\)，经验分布赋予一的概率\(1/3\)。每次抽三项，重抽样中一的个数\(K^*\sim\operatorname{Bin}(3,1/3)\)，均值\(\bar X^*=K^*/3\)。四个可能均值的条件概率分别为\(8/27,12/27,6/27,1/27\)。均值为\(1/3\)、条件方差为\(2/27\)，条件标准差约0.272166。
原经验方差为\(2/9\)，所以\(v_n/n=2/27\)与枚举相符。分母为\(n-1\)的样本方差为\(1/3\)，它除以n得到\(1/9\)，不是本次普通自助分布的精确方差；差别是经验方差的有限样本分母。该数据的2.5%与97.5%自助均值分位数为0与1。百分位区间为\([0,1]\)，基本区间为\([-1/3,2/3]\)，它们并不因写上95%就具有小样本精确覆盖。
22.3.3 有限二阶矩下的条件CLT
若\(EX^2<\infty\)、\(\mu=EX\)、\(0<\sigma^2=\operatorname{Var}X<\infty\)，则对几乎所有无限原样本序列，
这里的弱收敛在固定原样本路径后，对相应的条件概率测度序列成立。它与原均值CLT具有相同极限。
完整证明。强大数定律给\(\bar X\to\mu\)、\(n^{-1}\sum_iX_i^2\to EX^2\)，所以\(v_n\to\sigma^2\)几乎必然。还须控制经验分布的大观测，不能仅有方差收敛就宣称CLT成立。对任意c为正，有限二阶矩给\(\sum_iP(X_i^2>ci)<\infty\)；这是尾积分的离散求和界。Borel–Cantelli说明\(|X_i|/\sqrt i\to0\)几乎必然。先固定有限前缀，再控制其余下标，即得\(\max_{i\le n}|X_i|/\sqrt n\to0\)，进而\(\max_i|X_i-\bar X|/\sqrt n\to0\)。
固定同时具有这些性质的原样本路径。给定它后，\(X_i^*-\bar X\)在第n行独立同分布，均值零、方差\(v_n\)。其Lindeberg比值为
由于\(v_n\to\sigma^2>0\)以及最大观测控制，对每个固定\(\varepsilon>0\)，所有指标最终都为零。因此三角阵Lindeberg–Feller定理给\(\sqrt n(\bar X^*-\bar X)/\sqrt{v_n}\Rightarrow N(0,1)\)，乘回经验尺度即得。证毕。
连续极限CDF还把弱收敛提升为CDF的统一收敛：先在有限网格控制CDF，再用单调性和极限CDF的连续性控制网格间及两端尾部。因此
原分布项也由通常CLT统一趋于同一正态CDF。这个证明只处理iid、有限非零二阶矩的均值；非线性平滑函数可进一步用条件delta展开，其他估计量则需检查各自的渐近线性与条件余项。
22.3.4 区间构造依赖什么条件
记\(q_\gamma^*\)为\(\widehat\theta^*\)条件分布的广义\(\gamma\)分位数，\(0<\alpha<1\)。三种常见构造是
最后一行的\(c_\gamma^*\)来自学生化统计量\(T^*=(\widehat\theta^*-\widehat\theta)/\widehat{\mathrm{se}}^*\)，标准误须在重抽样中按相同规则计算。若重抽样标准误可能为零，必须说明如何处理并检查这种事件在渐近下可忽略。基本区间来自把\(\widehat\theta^*-\widehat\theta\)的两尾反演，因此两个端点都用减号，并且分位数顺序反转。
要把条件分位数用于覆盖，需要真实标准化误差的极限CDF连续、目标分位数唯一，且自助分布有效；学生化还需原样本与重抽样标准误各自在相应意义下相合。百分位法额外依赖中心化偏差与误差形状的关系。上面均值定理给渐近对称、零均值正态误差，百分位与基本区间都具有一阶渐近覆盖，但不证明任意偏斜或非正则统计量的百分位区间有效。没有额外证明，不能宣称所有这些方法都更高阶准确。
有限B次重抽样得到的是上述条件分位数的数值近似；若希望复现理想自助方法的渐近保证，还需让计算误差相应消失。区间报告的概率解释仍是固定参数下重复抽样覆盖，不是给定数据后的参数后验概率。
22.3.5 最大值为何使普通自助法失效
令\(X_i\) iid来自\(\operatorname{Unif}(0,\theta)\)，\(\theta>0\)，\(M_n=\max_iX_i\)。19.5节给正确尺度\(G_n=n(\theta-M_n)/\theta\)，在\(0\le t\le n\)时CDF为\(1-(1-t/n)^n\)，并趋于\(1-e^{-t}\)。真枢轴在零点没有概率质量。
普通自助失效的完整证明。原最大值几乎必然唯一。自助样本最大值\(M_n^*\)等于\(M_n\)，当且仅当至少一次抽到原最大值的下标。因此
令候选自助枢轴为\(G_n^*=n(M_n-M_n^*)/M_n\)。它非负，零点CDF恰为上式；真实\(G_n\)零点CDF为零，所以两CDF的最大差至少趋于约0.632121。它也不可能弱收敛到指数分布，因为零点是指数CDF的连续点。给定经验分布只能取已有值，样本端点的离散质量没有被正确重建。证毕。
图22.3-2指定n为4、数据为\((0.2,0.4,0.6,0.8)\)。自助枢轴取0、1、2、3的概率分别是\(175/256,65/256,15/256,1/256\)，可由最大下标的累计概率\((k/4)^4\)求差；这是精确枚举。
若使用正确的参数模型\(\operatorname{Unif}(0,M_n)\)生成新样本，并重算最大值，则同一形式\(n(M_n-M_n^*)/M_n\)精确具有\(1-(1-t/n)^n\)的CDF，重现真实枢轴。这依赖已知均匀尺度模型，并非所有参数自助法普遍精确。非参数的m-out-of-n、子抽样或平滑修正也需自己的尺度及条件，不能仅换一个样本量就声称问题已解决。
22.3.6 抽样机制与计算误差分别核查
参数自助法从拟合的\(P_{\widehat\theta}\)模拟，必须正确规定分布并在每个样本重做拟合；非参数自助法从经验分布抽取整个观测单元。随机设计回归可按iid观测对重抽，固定设计的残差重抽则需要正确均值结构与误差机制；异方差下不能不加条件地混合残差。置换检验在零假设的交换结构中重新排列，bootstrap则近似抽样分布，二者的概率依据不同。
时间序列或簇内相关数据，逐点iid重抽破坏依赖，通常不能恢复原方差与极限。块自助法保留局部依赖，但需要平稳性、弱依赖、块长度增长和相对样本长度等专门条件。独立簇可以按整个簇重抽，仍须有足够增长的独立簇数。边界参数、极值、非光滑泛函、退化U统计量和高维选择也不能自动引用均值有效性证明。
对于固定数据与独立B次重抽样，任一事件的频率估计条件方差为\(p^*(1-p^*)/B\)。因此计算误差通常为\(O(B^{-1/2})\)，但统计误差由原样本量n及模型决定。例如条件尾概率为0.05，B为1000时频率标准差约0.006892；B为10000时约0.002179。增加B会把错误的最大值零点原子估得更准，不会让它消失。分位数的计算精度还依赖目标附近的条件概率质量或密度，不能普遍套用同一个标准差公式。
22.3.7 习题与完整解答
习题22.3-1 · 下标与不同值不可混淆
对例1，若在两个不同值零与一之间各以一半概率抽取，会得到怎样的均值和方差？它是否仍是原经验分布自助法？
错误重抽样分布变为\(\operatorname{Bernoulli}(1/2)\)，因此三项均值的条件期望为\(1/2\)，条件方差为\((1/4)/3=1/12\)。正确经验分布的均值为\(1/3\)、方差为\(2/27\)。两个零是两个原始观测，合并支持点时必须把各自质量相加，不能忽略频数。该错误方法已经改变了估计抽样模型，即使重复无限次也不会回到正确条件分布。
习题22.3-2 · 原最大值的自助原子
计算n为4时至少一次抽到唯一最大值的概率。若只抽m项，它变成什么？仅让m变小是否足以证明一个自助区间有效？
每次不抽到最大下标的概率为\(3/4\)，四次独立重抽全部避开的概率为\((3/4)^4=81/256\)，所以命中概率为\(175/256\)。m项时是\(1-(1-1/n)^m\)。若m与n同阶，这个原子仍可能保持正质量；若\(m/n\to0\)，原子可趋零，但原统计量的速率、m尺度与n尺度之间的转换和剩余分布逼近都还须证明。消去一个失败机制不能替代完整有效性论证。
习题22.3-3 · 条件方差与原样本量
原样本为\((1,2,4,5)\)。求自助均值的精确条件方差，并推导蒙特卡洛频率估计在条件概率为0.05、B为1000时的标准差。
原均值为3，平方离差和为10，经验方差为\(10/4=5/2\)。重抽四项平均的条件方差为\((5/2)/4=5/8\)。若B个独立重复中记录某事件是否出现，这些指标条件于原样本后iid Bernoulli，频率方差为\(0.05\times0.95/1000\)，标准差约0.006892。前一个方差描述重抽样估计量，后一个描述对条件概率的数值计算，二者不能互相替代。
习题22.3-4 · 完全相关数据的错误重抽
令全部\(X_i=Z\)，其中\(Z\sim N(0,1)\)。求原均值抽样方差与逐点经验分布自助均值的条件方差，说明有效性证明在哪里失败。
原均值恒为Z，抽样方差为1，不随n下降。给定原数据，经验分布是\(\delta_Z\)，每个自助观测都等于Z，因此自助均值恒为Z，条件方差为零。原样本并非iid，不能用强大数定律把经验方差趋零解释为总体方差，也没有n个独立信息单元。增加重抽次数只会更加确定地报告这个错误的零方差，不能修复原数据的依赖结构。
关键术语
- 非参数自助法：给定原数据后从经验分布有放回重抽的分布近似方法。
- 参数自助法：从拟合的参数模型模拟数据并重新计算统计量。
- 条件自助分布：固定原样本后重抽样统计量的概率分布。
- 自助有效性：在指定中心与尺度下，自助条件误差分布逼近真实抽样误差分布。
- 百分位区间：直接使用自助估计值分位数作为端点的区间。
- 基本区间：反演中心化自助误差后得到的区间。
- 学生化：用相应估计标准误标准化统计误差。
- 块自助法：通过重抽连续数据块保留部分依赖的重抽样方法。
- 蒙特卡洛误差：有限次模拟对指定条件分布的计算误差。
参考文献
- Siva Balakrishnan，CMU 36-700，2016，Lecture 14: Bootstrap。大学官方讲义，区分重抽样分布近似与蒙特卡洛计算，并介绍参数法和区间反演。
- P. B. Stark，Berkeley Stat 210B，2003修订，Eleventh Set of Notes: Resampling Methods。大学官方讲义，第1.2节解释经验分布自助构造及其理论问题。本节均值的条件CLT和端点反例在正文完整证明。
- Cosma Shalizi，CMU 36-467/667，2020，Simulation for Inference I — The Bootstrap。大学官方材料，讨论模型模拟、依赖数据的块方法、学生化及不同误差来源。
幂律拟合的模型检验重抽样必须重新估计阈值与参数；极端尾部推断的有效性另核对19.9–19.10的条件，不由普通均值Bootstrap自动推出。 19.8 幂律模型的拟合、检验与比较 · 专题路线。