22.6 保形预测与分布无关覆盖

预测集合的覆盖目标与参数置信区间不同。本节从独立训练和校准出发，用可交换分数的排名证明分割保形预测的有限样本边际覆盖，解释排序位置中的m+1修正和平局处理。两个手算例展示绝对残差与尺度归一化评分，并通过反例说明数据复用、少见特征组和分布漂移如何改变保证。

先修与阅读位置

主要先修：18.4 精确置信区间与非渐近保证、20.5 预测、正则化与模型选择、22.1 置换检验与随机化推断。

由20.5的数据分割与22.1的交换性排名进入预测覆盖。它不以先学完Bootstrap、核估计和U统计量为必要条件，也不自动提供逐特征条件覆盖。查看全书依赖图与分支路线。

22.6.1 预测新观测需要另一种覆盖目标

18.4节的置信区间覆盖总体参数，20.2节区分了均值响应区间与新观测预测区间。这里目标是构造一个随数据变化的集合\(C(x)\)，使未来观测\((X_{\rm new},Y_{\rm new})\)满足

\[P\{Y_{\rm new}\in C(X_{\rm new})\}\ge1-\alpha,\qquad 0<\alpha<1.\]

(22.6-1)

概率同时考虑校准样本和未来观测的随机性。这里不是给一个已经观察到的预测区间计算参数后验概率。保形预测（conformal prediction）利用可交换数据的排名构造这种覆盖保证；本节研究计算较直接的分割保形预测（split conformal prediction）。它不要求响应正态、回归函数线性或已知误差方差，但仍需要明确的数据关系和构造方式。

定义22.6-1 · 评分与分割

训练集\(D_{\rm tr}\)用于拟合预测函数，并确定可测评分函数\(s(x,y;D_{\rm tr})\)，分数越大表示候选值与预测越不相符。另有\(m\ge1\)个校准观测\((X_i,Y_i)\)，计算\(R_i=s(X_i,Y_i;D_{\rm tr})\)。训练与校准的分割预先固定，或由独立随机种子确定。本节先假定所有观测对独立同分布，训练集、校准集和未来观测相互独立。

给定训练数据及独立训练随机种子以后，评分函数固定，\(R_1,\ldots,R_m,R_{\rm new}\)便独立同分布，从而可交换。证明实际只需要这种条件可交换性，因此能够适用于更一般的可交换数据。仅仅知道每个分数有同样的边缘分布，或知道数据来自同一时间序列，尚不足以得到下面的排名结论。

图22.6-1 · 三部分数据在构造中的作用。图表示分割流程和证明所需的信息关系；箭头不表示因果关系，也不把校准误差当作训练误差。

22.6.2 有限样本修正的排序位置

令\(R_{(1)}\le\cdots\le R_{(m)}\)为校准分数的顺序统计量，取

\[k=\left\lceil(m+1)(1-\alpha)\right\rceil,\qquad q=\begin{cases}R_{(k)},&k\le m,\\+\infty,&k=m+1.\end{cases}\]

(22.6-2)

预测集定义为\(C(x)=\{y:s(x,y;D_{\rm tr})\le q\}\)。这里用\(m+1\)而非\(m\)，因为未来分数也参与排名。不要将该公式替换为软件默认的线性插值分位数；两个方法的排序位置可能不同。在允许实值候选的回归例中，\(q=+\infty\)意味着保留全部有限分数对应的候选值。

定理22.6-1 · 分割保形覆盖率

若给定训练信息后，\(m+1\)个有限实值分数可交换，则

\[P\{R_{\rm new}\le q\mid D_{\rm tr}\}\ge\frac{k}{m+1}\ge1-\alpha.\]

(22.6-3)

若这些分数几乎必然互不相等，则第一项等于\(k/(m+1)\)。因此覆盖率与名义值的差小于\(1/(m+1)\)；有平局时仍保守有效，但这个近乎相等的上界不能无条件使用。条件中的训练信息也包含独立训练随机种子。

完整排名证明。先看无平局情形。在\(m+1\)个分数中，任意排列的联合分布相同。未来分数占据第\(j\)位的概率因对称性对所有\(j\)相等，合计为1，故其排名均匀分布于\(1,\ldots,m+1\)。当\(k\le m\)时，未来分数排名不超过\(k\)，恰等价于它不超过剩下\(m\)个校准分数的第\(k\)个；当\(k=m+1\)时，阈值为无穷，事件必然成立。覆盖概率遂为\(k/(m+1)\)。

有平局时，对每个分数附加独立连续随机数，按“分数、随机数”的字典序随机打破平局。增广的排名仍均匀。若未来分数的增广排名不超过\(k\)，其原始分数必不超过校准第\(k\)个分数；相反方向可能因平局而失败。因此原始覆盖事件概率至少为\(k/(m+1)\)。最后对训练信息取期望，得到总体覆盖保证。整个证明是有限样本的对称性计算。

22.6.3 两个可手算的预测集

例22.6-1 · 九个绝对残差

训练完毕后，使用评分\(s(x,y)=|y-\widehat f(x)|\)。校准残差排序为\(0.2,0.3,0.4,0.5,0.7,0.8,1.0,1.2,1.5\)，所以\(m=9\)。若\(\alpha=0.1\)，则\(k=\lceil10\times0.9\rceil=9\)，\(q=1.5\)。在\(\widehat f(x)=10\)的输入处，预测集为\([8.5,11.5]\)。

若改要求95%覆盖，\(k=\lceil10\times0.95\rceil=10\)，于是按本构造取\(q=+\infty\)。不能为了给出有限区间，把最大残差偷偷当成95%分位数；无平局时，最大残差只给\(9/10\)覆盖。要让95%排序阈值有限，至少需要\(m\ge19\)。这些覆盖结论对校准样本取平均，给定上述九个具体观测后并没有新增的条件覆盖保证。

图22.6-2 · 例22.6-1的九个给定分数，阈值取第九个分数。有限样本修正来自十个可交换分数的排名，而非将九个残差拟合为正态分布。

例22.6-2 · 调整不同输入处的区间宽度

训练集还给出正尺度函数\(\widehat v(x)>0\)，用归一化评分\(s(x,y)=|y-\widehat f(x)|/\widehat v(x)\)。取\(m=9,\alpha=0.2\)，九个归一化分数为0.10、0.20、0.25、0.35、0.40、0.50、0.60、0.75、1.00。此时\(k=8\)、\(q=0.75\)，预测区间为

\[C(x)=[\widehat f(x)-q\widehat v(x),\ \widehat f(x)+q\widehat v(x)].\]

(22.6-4)

若两个输入处的中心预测均为2，训练尺度分别为1和3，则区间分别为\([1.25,2.75]\)与\([-0.25,4.25]\)。只要评分在看校准集以前固定，覆盖证明仍成立，不要求\(\widehat v\)恰好等于真实条件标准差。较合理的尺度函数有助于在噪声较大的位置分配宽度；它并不把边际覆盖自动升级为各个输入处的条件覆盖。

22.6.4 边际、训练条件与特征条件覆盖

本页的定理允许给定训练集，但还要对校准集及未来观测平均。它一般没有承诺对每一份已观察到的校准集均达到名义覆盖，也没有承诺

\[P\{Y_{\rm new}\in C(X_{\rm new})\mid X_{\rm new}=x\}\ge1-\alpha\quad\text{对所有输入 }x.\]

(22.6-5)

这里的条件概率须采用正则条件分布解释，连续特征的单点事件通常概率为零。边际覆盖控制的是\(X\)分布加权的平均；少见特征区域可以承担更高的遗漏率。要研究分组、局部或条件覆盖，需要对分组方案、各组校准样本量或数据分布另加条件。

预测集的宽度也是独立的质量问题。恒取整个响应空间当然有覆盖率1，却没有区分候选值的能力；可交换性给出覆盖保证，好的训练预测与评分则帮助缩小集合。因此，模型拟合效果、覆盖有效性和区间长度需要分别评价。保形区间覆盖新观测，也不等于覆盖条件均值、回归系数或因果效应。

22.6.5 哪些操作会改变证明条件？

用同一校准集反复选择评分或调节预测函数，会让校准分数与未来分数承担不同角色，破坏本节所用的条件交换性。可另设调参集，或者采用有独立有效性证明的更复杂构造；不能仅因残差数量足够多就认为排名仍均匀。完整保形方法通过对候选新样本对称地重新拟合实现另一种有效构造，但它不是本页分割证明的直接替代。

时间趋势、群体构成改变和其他分布漂移也可能使校准与未来分数不再可交换。加权保形、在线校准等方法需要各自的假设和误差保证。对许多未来点分别构造覆盖率\(1-\alpha\)的区间，也不自动得到所有点同时覆盖；若要同时保证固定\(K\)个未来点，可使用每点\(\alpha/K\)加并集界，但区间会变宽。随时有效的序贯目标见23.5节。

22.6.6 习题与解答

习题22.6-1 · 校准量与有限阈值

证明本页构造的阈值有限需要\(m\ge1/\alpha-1\)。对99%覆盖求最小整数校准量，并说明在该样本量下应取哪个排序位置。

有限阈值要求\(k\le m\)，因为\(m\)为整数，这等价于\((m+1)(1-\alpha)\le m\)。整理得到\(\alpha(m+1)\ge1\)。99%覆盖对应\(\alpha=0.01\)，最小\(m=99\)，此时\(k=\lceil100\times0.99\rceil=99\)，取最大校准分数。这个结论针对给定的有限样本修正构造，不意味着任意99%区间都必须如此选择。

习题22.6-2 · 平局为何影响上界？

设评分恒等于0，取\(m=19,\alpha=0.1\)。求阈值与覆盖率，判断覆盖率是否总小于\(1-\alpha+1/(m+1)\)。

这里\(k=18\)，校准分数的第18项也是0，未来分数也恒为0，故覆盖率为1。而\(1-\alpha+1/(m+1)=0.95\)，所给上界失效。定理对有平局分数只保证下界；随机打破平局用于证明保守覆盖，不代表原始“分数不超过阈值”的预测事件也随机删去相等候选值。

习题22.6-3 · 复用数据的数学反例

令\(X_i\) iid均匀分布于\((0,1)\)，\(Y_i\equiv1\)。错误地把全部校准数据用于拟合记忆规则：在观察到的输入处预测1，其余输入预测0。再用这些观测的训练残差作校准，取\(k\le m\)。求未来预测集的覆盖率。

所有被记住的观测残差为0，阈值因此为0。新的连续输入几乎必然不等于有限个旧输入，所以未来中心预测为0，预测集为\(\{0\}\)，但真实响应为1，覆盖率为0。数据本身独立同分布，失效源于校准分数用参与拟合的数据计算，未来分数则用未参与拟合的数据计算，两类分数不再具有相同的条件分布。

习题22.6-4 · 平均覆盖能否保证少见组？

构造一个边际覆盖率为95%，但在概率为5%的特征组中覆盖率为0的预测集，用来辨析两种覆盖目标。

取\(X\in\{0,1\}\)、\(P(X=1)=0.05\)，令\(Y\equiv0\)。定义\(C(0)=\{0\}\)、\(C(1)=\varnothing\)，则总体覆盖率为\(P(X=0)=0.95\)，而给定\(X=1\)的覆盖率为0。这是覆盖目标之间逻辑关系的反例，并未声称该集合由某一校准样本产生；它说明仅有边际95%保证不足以推出各组95%保证。

关键术语

保形预测: 利用可交换样本的评分排名构造预测集合的方法。
分割保形预测: 将拟合和校准分开，使校准与未来评分具有可交换关系。
校准集: 在评分函数固定后用于确定预测阈值的数据。
非一致性分数: 衡量候选响应偏离预测程度的可测评分。
有限样本修正: 将未来观测计入排名，使用m+1确定排序位置。
边际覆盖: 对未来特征分布和校准随机性平均的覆盖概率。
条件覆盖: 给定指定信息或特征后要求的覆盖概率，须说明条件对象。
可交换性: 联合分布在任意有限指标置换下不变。

参考文献

Lei, J., G’Sell, M., Rinaldo, A., Tibshirani, R. J., & Wasserman, L. (2018). Distribution-Free Predictive Inference for Regression. Journal of the American Statistical Association, 113(523), 1094–1111。作者公开版本，§2.2：分割保形方法及有限样本覆盖。
Angelopoulos, A. N., & Bates, S. A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. 作者预印本及版本记录：评分、校准与预测目标的区别。
Tibshirani, R. J., Barber, R. F., Candès, E. J., & Ramdas, A. Supplement to Conformal Prediction Under Covariate Shift。作者补充材料，§A.3明确给出含无穷点质量的排序修正与给定训练集的覆盖证明。