主要先修：11.3 滤过、鞅与Doob分解、11.4 停时与可选停止定理、11.5 鞅的最大不等式与收敛、18.1 检验、功效与p值。
这是从11.3–11.5的鞅、停时与最大不等式进入的序贯分支，另需18.1的错误率概念；Beta混合公式可联系21.2。它不依赖先完成Stein或高维推断。 查看全书依赖图与分支路线。
23.5.1 固定样本量与随时查看是两种保证
一个5%水平检验通常控制预先指定样本量下的拒绝概率。若不断增加数据，反复查看，一出现显著结果就停止，实际拒绝事件变成多个时刻拒绝事件的并集，原来的单个时刻保证未必适用。有限样本精确检验同样存在这个区别，不能只把问题归因于中心极限定理近似。
一个可直接计算的例子是20批独立正态数据，对每批都做大小恰为0.05的检验，并在首次拒绝时结束。在所有原假设都成立时，最终误拒概率为\(1-0.95^{20}\approx0.64151\)。累计样本的重复查看事件通常相关，不能把这项独立乘积公式照搬过去，但也不能据此声称重复查看仍保持5%。
令\(\mathcal F_t\)表示前\(t\)步可用信息，停时\(\tau\)满足\(\{\tau\le t\}\in\mathcal F_t\)。随时有效检验控制\(P_{H_0}(\exists t\ge1:\text{拒绝})\le\alpha\)。这比每个固定时刻分别控制错误概率更强，因而允许依数据决定查看和停止时间。
先修的鞅与停时论证见第11章，尤其是11.4节与11.5节。本节选择非负过程，因为不需要对无界停时假定期望守恒，也能得到有用的错误率上界。
23.5.2 Ville不等式
设\((M_t,\mathcal F_t)_{t\ge0}\)是非负超鞅，\(M_0=1\)。则任意\(c>0\)满足
严格地说，先证明存在某时刻\(M_t\ge c\)的概率界；上确界可能只在极限取得时，可用略小的阈值趋近\(c\)，得到所写的上确界版本。
完整证明。令\(\tau_c=\inf\{t:M_t\ge c\}\)。对每个整数\(N\)，有界停时论证给\(E M_{\tau_c\wedge N}\le E M_0=1\)。在\(\tau_c\le N\)上，停时值至少为\(c\)；其余路径上非负。因此\(cP(\tau_c\le N)\le1\)。令\(N\to\infty\)，事件单调增加，得到\(P(\exists t:M_t\ge c)\le1/c\)。再用\(c_k\uparrow c\)且\(c_k<c\)，事件\(\{\sup M_t\ge c\}\)包含于每个\(\{\exists t:M_t>c_k\}\)，取界的极限即得。证明只使用有界停时及非负性，没有对\(M_{\tau_c}\)未经核查地断言期望等于一。
在原假设下只要能构造这样的超鞅，规则“首次\(M_t\ge1/\alpha\)就拒绝”便控制全时域误拒概率。固定时刻有\(E M_t\le1\)只给Markov界；要对多时刻使用Ville，还必须有对应滤过下的超鞅结构。
23.5.3 似然比鞅与序贯检验
先设观测iid，两简单假设的密度为\(f_0,f_1\)，相对于同一测度。两模型具有相同支持，且两密度在该支持上几乎处处为正，即两概率测度互相绝对连续。定义
鞅性质。在\(P_0\)下，给定旧数据，下一步比值的条件期望是\(\int(f_1/f_0)f_0d\mu=1\)。于是\(E_0(L_t\mid\mathcal F_{t-1})=L_{t-1}\)，非负且均值一。共同正支持同样使\(1/L_t\)在\(P_1\)下为均值一的鞅。因此两个方向都可以应用Ville。
取错误上界\(0<\alpha,\beta<1\)。一个具有严格上界的序贯概率比检验（SPRT）在\(L_t\ge1/\alpha\)时判为\(H_1\)，在\(L_t\le\beta\)时判为\(H_0\)，否则继续。上、下边界分别保证\(P_0(\text{判为}H_1)\le\alpha\)、\(P_1(\text{判为}H_0)\le\beta\)，因为先触到另一边界只会缩小相应事件。这里不承诺错误率恰等于给定值。
通常Wald阈值\((1-\beta)/\alpha\)与\(\beta/(1-\alpha)\)还涉及越界幅度的近似分析，不能用上述Ville证明直接宣布相同的精确错误上界。是否会停止、平均使用多少样本，也须另作论证。若两模型不同且各自\(E|\log(f_1/f_0)|<\infty\)，两向相对熵为有限正数，SLLN使\(\log L_t/t\)在\(P_0\)下趋于负值，在\(P_1\)下趋于正值，于是分别几乎必然越过某边界，停时有限；这还不单独证明期望停时有限。
取\(H_0:p=1/2\)、\(H_1:p=3/4\)。一次成功乘比值1.5，失败乘0.5，因此\(L_t=1.5^{S_t}0.5^{t-S_t}\)。设\(\alpha=\beta=0.1\)，边界为10与0.1。连续五次成功时比值7.59375，仍继续；第六次成功使它变为11.390625，判为备择。连续三次失败时比值0.125，仍继续；第四次变为0.0625，判为原假设。两个方向误判概率分别不超过10%，并非把一次比值解释成假设后验概率。
对复合原假设\(p\le p_0\)，取零与一之间的固定参数，满足\(0<p_0<q<1\)，并使用对应的伯努利比值过程。一步比值在真实成功率\(p\)下的期望为\(1+(p-p_0)(q-p_0)/[p_0(1-p_0)]\le1\)，故过程是超鞅，对全部原假设仍有同一误拒上界。该计算也适用于二值观测满足\(E(X_t\mid\mathcal F_{t-1})\le p_0\)的条件原假设；不能把任意复合模型中的插入估计似然比都称为超鞅。
23.5.4 随时有效p值与置信序列
原假设下构造\(M_t\)后，可取\(p_t=\min\{1,1/\max_{0\le s\le t}M_s\}\)。对任意几乎必然有限的停时\(\tau\)，事件\(p_\tau\le u\)蕴含过程某时刻越过\(1/u\)，Ville给出\(P_0(p_\tau\le u)\le u\)。这是抽样意义下的有效p值，不是后验概率。
固定真参数为\(\theta\)。可测随机集合序列\(C_t\)若满足
称为覆盖水平至少\(1-\alpha\)的置信序列。它保证整条路径上同时覆盖，而非仅对每个固定时刻分别覆盖。对任何有限停时，\(C_\tau\)也至少有同样的覆盖；区间宽度通常需要为这种时间自由付出代价。
序贯反演的证明。对每个候选参数\(\theta\)，构造在\(P_\theta\)下初值一的非负超鞅\(M_t(\theta)\)。取\(C_t=\{\theta:M_t(\theta)<1/\alpha\}\)。固定真值后，存在某时刻真值被排除恰为\(\exists t:M_t(\theta)\ge1/\alpha\)，概率不超过\(\alpha\)。因此全时域同时覆盖成立。每个时刻的集合未必嵌套，但\(C_t^*=\bigcap_{s\le t}C_s\)嵌套，并保留相同保证；在失败路径上交集可能为空。
23.5.5 Beta混合的可计算构造
设\(X_t\) iid服从\(\operatorname{Bernoulli}(p)\)，参数空间为\((0,1)\)，\(S_t=\sum_{i\le t}X_i\)。预先固定\(a,b>0\)，用Beta密度混合替代成功率\(q\)的似然比：
混合与覆盖的证明。对每个固定\(q\)，积分内的比值在\(P_p\)下为非负均值一鞅。非负性允许条件积分换序，且其混合期望仍为一，故\(E_p[M_t(p)\mid\mathcal F_{t-1}]=M_{t-1}(p)\)。初值\(M_0(p)=1\)。上一节反演\(M_t(p)<1/\alpha\)遂给出置信序列。Beta积分只用于构造频率覆盖保证，没有把固定真参数随机化；同一个Beta函数也可在第21.2节的后验计算中出现，但那是不同的解释。
取\(a=b=1,\alpha=0.05\)。若\(t=4,S_t=4\)，\(M_t(p)=1/(5p^4)\)，保留条件是\(p^4>0.01\)，故\(C_4=(0.31622777,1)\)。若随后累计到\(t=10,S_t=7\)，\(B(8,4)=1/1320\)，保留条件为\(p^7(1-p)^3>1/26400\)。对其对数方程求两个根，得\(C_{10}\approx(0.26674053,0.96335971)\)。若报告历次交集，不能忘记第4步已经排除了不大于0.31622777的参数，因此当前交集的下界至少是这个值；其他中间时刻还可能进一步收窄。
计算应使用\(\log B\)与对数似然，以免乘积下溢。混合分布必须在使用这批数据之前固定；看完结果再选择让比值最大的\(a,b\)，不保留上述鞅证明。依赖历史的策略有时可以通过逐步条件均值构造新的超鞅，须逐项核查。检测均值、预测下一个观测、控制多个假设和因果解释也各需不同条件；置信序列不自动解决所有这些问题。
23.5.6 习题与完整解答
习题23.5-1 · 只有期望控制够吗
令\(M_0=1\)，两个独立变量\(M_1,M_2\)各以概率0.1取10，否则为零。每个期望都为一。是否可以应用Ville给出\(P(\max(M_1,M_2)\ge10)\le0.1\)？
实际越界概率为\(1-0.9^2=0.19\)，所以不能。给定\(M_1=0\)，独立性使\(E(M_2\mid M_1)=1>0\)，超鞅条件已经失败。固定时刻的均值上界只足以分别使用Markov不等式；把多个这样的变量排列成过程，没有建立条件均值约束就不能控制整条路径。
习题23.5-2 · 严格边界与越界幅度
例23.5-1中改取\(\alpha=0.05,\beta=0.1\)。连续成功多少次才首次越过安全上边界？连续失败多少次越过下边界？
上边界为20，\(1.5^7=17.0859375\)尚不足，\(1.5^8=25.62890625\)已超过，因此第八次成功停止。下边界仍为0.1，\(0.5^3=0.125\)、\(0.5^4=0.0625\)，所以第四次失败停止。两次越界幅度都非零；Ville证明使用停时值至少达到阈值，不要求恰好命中，因此保留5%与10%的各向错误上界。
习题23.5-3 · 全失败的混合区间
取\(a=b=1,\alpha=0.05\)，在\(t=4,S_t=0\)时计算置信序列的该截面。它与四次全成功如何对应？
Beta积分\(B(1,5)=1/5\)，故\(M_4(p)=1/[5(1-p)^4]\)。保留条件是\((1-p)^4>0.01\)，得到\(C_4=(0,1-0.01^{1/4})=(0,0.68377223)\)。这是成功与失败交换时\(p\mapsto1-p\)的对称结果。它是全时域保证构造中的一个截面，并不等于固定样本Clopper–Pearson区间，也不是Beta后验的95%可信区间。
习题23.5-4 · 复合伯努利原假设
选\(p_0=0.5,q=0.75\)。真实条件成功率为0.4时，计算下一步比值条件期望。证明当所有条件成功率都不大于0.5时，上边界检验仍有效。
一步比值是成功1.5、失败0.5，所以条件期望为\(0.4\cdot1.5+0.6\cdot0.5=0.9\)。一般条件成功率\(p_t\le0.5\)时期望为\(0.5+p_t\le1\)。乘积过程非负、适应于观测滤过，且由条件期望递推具有有限期望并为超鞅。初值一，Ville给出越过\(1/\alpha\)的概率不超过\(\alpha\)。这里的保证依据每步条件约束，不能仅从所有观测的边际均值不大于0.5推出同样结论。
关键术语
序贯推断：数据逐步到达时更新检验或估计；停时：是否停止可由当前及过去信息判断的随机时间；非负超鞅：条件期望不增加的非负适应过程；Ville不等式：超鞅全时域越界的概率上界；似然比鞅：在原模型下由似然比乘积构造的鞅；SPRT：在上下似然比边界首次越界时作决策的检验；随时有效p值：依数据停止后仍有超均匀性保证的p值；置信序列：在所有时刻同时包含真值的随机集合序列；混合鞅：以预定概率分布积分得到的鞅。
参考文献
- Howard, S. R., Ramdas, A., McAuliffe, J., Sekhon, J. Time-uniform Chernoff bounds via nonnegative supermartingales. Probability Surveys 17, 257–317, 2020。作者版本§2.3给出Ville不等式，§6.1讨论其证明；本节限制于离散时间。
- Howard, S. R., Ramdas, A., McAuliffe, J., Sekhon, J. Time-uniform, nonparametric, nonasymptotic confidence sequences. Annals of Statistics 49(2), 1055–1080, 2021。置信序列、混合方法及序贯反演的系统资料；本节独立展开较简单的iid伯努利Beta混合。