主要先修：3.4 独立事件、18.1 检验、功效与p值。
这是18.1之后的并列错误率支线，可以直接进入；不必先完成18.2–18.5。后续23.4将它用于数据选择后的统一误差控制。 查看全书依赖图与分支路线。
18.6.1 假设族、FDP与两种错误率
先规定一个含\(m\ge1\)个原假设的假设族\(H_1,\ldots,H_m\)，并在一个固定的数据分布下记真实原假设的指标集为\(I_0\)，其大小为\(m_0\)。真伪由该分布决定，通常未知；本节不为假设赋予先验概率。根据有效p值的定义，每个真实原假设的p值须满足
这称为超均匀性，包括离散检验的保守p值。对复合原假设，它必须在原假设允许的每个分布下成立。非真实原假设的p值不受这条要求限制。
记\(R\)为总拒绝数，\(V\)为被拒绝的真实原假设数。错误发现比例、错误发现率与族错误率分别为
这里\(R\vee1=\max(R,1)\)，所以没有拒绝时FDP规定为零。FWER关心是否有任何错误，FDR关心一次实验的错误比例在重复实验中的平均值。
逐点有\(\operatorname{FDP}\le\mathbf1_{\{V\ge1\}}\)，故\(\operatorname{FDR}\le\operatorname{FWER}\)。全部原假设真实时，\(V=R\)，二者相等。控制FDR为\(0.05\)，既不保证某次观察到的FDP低于\(0.05\)，也不表示每项被拒绝假设各有\(5\%\)的错误概率；后者是另一个条件或后验问题。FDR也不能一般写成\(E(V)/E(R)\)。
18.6.2 Bonferroni与Holm：任意依赖的FWER控制
设每个真实原假设的p值满足式(18.6-1)，固定\(0<\alpha<1\)。Bonferroni在\(p_i\le\alpha/m\)时拒绝。Holm先按p值排序，并逐步检验
一旦首次不满足，便停止并不拒绝其余假设；若全部满足，则全部拒绝。两种方法在任意p值依赖结构下都满足\(\operatorname{FWER}\le\alpha\)。
完整证明。Bonferroni发生错误必有一个真实原假设的p值不超过\(\alpha/m\)。由并集上界及超均匀性，
对于Holm，若\(m_0=0\)则结论直接成立。否则令\(k_0\)为排序中第一个真实原假设的位置；并列时采用预先固定的排列。此前只能有\(m-m_0\)个非真实原假设，故\(k_0\le m-m_0+1\)，于是\(m-k_0+1\ge m_0\)。发生任何错误拒绝时，Holm必已拒绝这一首个真实原假设，所以
证明没有用独立性，且对任意真伪配置成立，这称为强FWER控制。证毕。
Holm至少拒绝Bonferroni拒绝的全部假设：若排序位置\(k\)的p值不超过\(\alpha/m\)，则前面各p值也不超过这一数，而各步门槛不小于它。Holm的“停止”规则是证明的一部分；不能在一次失败后继续寻找较宽门槛。
18.6.3 BH：独立情形下的FDR证明
固定目标\(0<q<1\)。BH是一种逐步上升方法，定义
若所有p值相互独立，真实原假设的p值超均匀，则\(\operatorname{FDR}\le m_0q/m\le q\)。非真实原假设的p值可有任意边际分布。若真实原假设的p值都恰为均匀分布，则第一条上界取等号。
完整证明：留一法。先注意拒绝数确为\(R\)：若有更多p值不超过\(Rq/m\)，排序中下一个位置也满足BH条件，与最大性矛盾。固定\(i\in I_0\)，把\(p_i\)改为零，其他p值不变，记新的拒绝数为\(R_i\)。它只依赖其他p值，且\(R_i\ge1\)。对每个\(r\ge1\)有
从左到右：原来\(p_i\)在已拒绝的前\(r\)项中，降低它不会改变第\(r\)项之后的排序值，因此不会产生更大的合格位置。从右到左：把零恢复为不超过\(rq/m\)的值后，仍至少有\(r\)项不超过该门槛，故原拒绝数至少为\(r\)；降低一个p值只能增加拒绝数，又给原拒绝数不超过\(R_i=r\)。于是相等且拒绝\(i\)。
给定其他p值，用独立性和超均匀性可得\(P(p_i\le rq/m\mid p_{-i})\le rq/m\)。利用式(18.6-7)，
对\(i\in I_0\)求和即得\(\operatorname{FDR}\le m_0q/m\)；均匀时条件概率取等号，最终也取等号。证毕。这里没有把随机门槛\(Rq/m\)误当作与\(p_i\)独立；独立的是留一后的\(R_i\)与\(p_i\)。
比例\(m_0/m\)是定理中的真实原假设比例，未知也不妨碍使用BH。直接把\(m\)换成未经校正的数据估计量，会改变证明；自适应FDR方法需要另外的条件。BH也适用于一些特定正依赖条件，但本节此证明的技术范围仅为上述独立情形，相关扩展见文献[2]。
18.6.4 手算：停止规则与最大合格位置
已排序的p值为\((0.004,0.009,0.012,0.028,0.060,0.200)\)，取\(\alpha=q=0.05\)。各门槛如下，表中小数为显示时四舍五入，实际判断用精确式。
| 排序位置 | p值 | Holm | BH | BY |
|---|---|---|---|---|
| 1 | 0.004 | 0.008333 | 0.008333 | 0.003401 |
| 2 | 0.009 | 0.010000 | 0.016667 | 0.006803 |
| 3 | 0.012 | 0.012500 | 0.025000 | 0.010204 |
| 4 | 0.028 | 0.016667 | 0.033333 | 0.013605 |
| 5 | 0.060 | 0.025000 | 0.041667 | 0.017007 |
| 6 | 0.200 | 0.050000 | 0.050000 | 0.020408 |
逐项计算。Bonferroni门槛为\(1/120\)，只拒绝第一项。Holm前三步通过，在第四步失败，拒绝前三项。BH的最大合格位置是\(4\)，所以拒绝前四项。下一节定义的BY使用\(H_6=49/20\)，门槛为\(k/294\)，没有合格位置，故不拒绝任何项。这些是同一p值向量的确定性计算；没有假设真伪信息，因而不能据此计算本次FDP。拒绝更多也不单独构成方法更优的结论，因为其错误率目标和依赖要求不同。
18.6.5 BY：任意依赖下的调和修正
只要求真实原假设的p值超均匀，允许任意联合依赖。令\(H_m=\sum_{j=1}^m1/j\)，把BH中的\(q\)换为\(q/H_m\)，即使用门槛
此BY方法满足\(\operatorname{FDR}\le m_0q/m\le q\)。修正通常降低拒绝数，但提供了不依赖联合分布形式的有限样本保证。
完整上界证明。先考察门槛为\(ka/m\)的BH，其中\(0<a<1\)。对一个真实原假设，若\(p_i\in((j-1)a/m,ja/m]\)且被拒绝，则由\(p_i\le Ra/m\)知\(R\ge j\)。因此该项对FDP的贡献不超过\(1/j\)；若\(p_i>a\)则不会拒绝。令\(F_j=P(p_i\le ja/m)\)，超均匀性给\(F_0=0\)、\(F_j\le ja/m\)，故
最后一步逐项使用非负系数与\(F_j\le ja/m\)，其和为\((a/m)[1+\sum_{j=1}^{m-1}1/(j+1)]\)。注意超均匀并不保证每个小区间的概率都不超过区间长度，必须经由上述分部求和。对全部\(m_0\)项求和，再令\(a=q/H_m\)，得到所述BY保证。整个证明没有条件独立步骤。证毕。原始依赖扩展与调和修正见文献[2]的定理1.3及其证明。
18.6.6 依赖反例与筛选后的假设族
两个原假设都真实，令\(0<q<2/3\)，p值向量取四种互斥结果：\((q/2,1),(1,q/2),(q,q)\)各以概率\(q/2\)出现，\((1,1)\)以概率\(1-3q/2\)出现。每个边际分布都有
各段均不超过\(t\)，所以两个p值都有效。但它们不独立：例如\(P(p_1=q,p_2=q)=q/2\)，而边际概率的乘积为\(q^2/4\)。
计算拒绝与错误率。BH的两个门槛为\(q/2,q\)：前两种结果各拒绝一项，第三种拒绝两项，最后一种不拒绝。由于全部原假设真实，有拒绝就有FDP等于一，故
取\(q=0.05\)时是\(0.075\)。Holm以\(\alpha=0.05\)只在前两种结果中各拒绝一项，FWER恰为\(0.05\)。BY的\(H_2=3/2\)使门槛变为\(q/3,2q/3\)，四种结果都不拒绝，因此FDR为零。本例是精确离散概率模型，证明“边际有效”不能替代BH的联合分布条件。
假设族也不能在查看全部p值之后任意缩小。例如从\(M\)个独立均匀p值中挑最小者，再当作唯一检验的p值，其分布是
当\(M>1\)时它不满足超均匀性。对选出的一个数机械地用\(m=1\)校正，不能修复筛选带来的偏差。可对原先规定的完整假设族校正，也可用与筛选独立的新数据计算检验p值；后一做法仍需在给定筛选结果后核查p值有效性及所用方法的依赖条件。更多筛选后推断问题见23.4节关于模型选择后区间的讨论。
18.6.7 习题与完整解答
习题18.6-1 FDR不是每次实验的比例保证
证明\(\operatorname{FDR}\le\operatorname{FWER}\)，说明全部原假设真实时何以相等。若FDR不超过\(0.05\)，仅用Markov不等式能给\(P(\operatorname{FDP}>0.2)\)什么上界？
无错误拒绝时FDP为零；有错误拒绝时\(0<V/R\le1\)，所以逐点\(\operatorname{FDP}\le\mathbf1_{V\ge1}\)，取期望即得结论。全部原假设真实时，有拒绝即\(V=R\)，故该不等式逐点成为等式。Markov给\(P(\operatorname{FDP}>0.2)\le E(\operatorname{FDP})/0.2\le0.25\)。这个上界并非\(0.05\)，也说明FDR控制不直接提供指定水平的FDP高概率保证。
习题18.6-2 BH不能在第一次比较失败时停止
四个已排序p值为\((0.013,0.024,0.030,0.500)\)，取\(\alpha=q=0.05\)。计算Bonferroni、Holm与BH的拒绝集合。
Bonferroni门槛为\(0.0125\)，没有拒绝。Holm第一步也用\(0.0125\)，因\(0.013>0.0125\)立即停止，没有拒绝。BH门槛依次为\(0.0125,0.025,0.0375,0.05\)；位置1失败，位置2与3通过，位置4失败，所以最大合格位置为3，拒绝前三项。BH依据最终统一门槛\(3q/4=0.0375\)拒绝，不能把Holm的停止规则用于它。
习题18.6-3 精确计算真实原假设比例的因子
三项检验中前两项原假设不真实且p值恒为零，第三项原假设真实且\(U\sim\operatorname{Unif}(0,1)\)。BH目标为\(q\)。求FDR与FWER。
两个常数与\(U\)相互独立，真实p值均匀，满足定理条件。前两项一定拒绝，故\(R\ge2\)。第三项只有在\(U\le q\)时拒绝；此时\(R=3,V=1\)，否则\(R=2,V=0\)。因此\(\operatorname{FDR}=q/3=m_0q/m\)，而\(\operatorname{FWER}=q\)。它直接显示FDR中的随机分母作用，以及均匀真实p值时的等式因子。
习题18.6-4 筛选最小p值后重新计数
一百个原假设都真实，其p值独立均匀。若只报告最小p值并与\(0.05\)比较，FWER是多少？若保留原假设族并用Bonferroni，精确FWER又是多少？
未经校正的拒绝事件为至少一个p值不超过\(0.05\)，故FWER为\(1-0.95^{100}\approx0.994079\)。Bonferroni对每项用\(0.05/100=0.0005\)，独立性给精确FWER为\(1-0.9995^{100}\approx0.0487825\)，也符合并集上界\(0.05\)。只把被报告的一项计入\(m\)，忽略了选择过程；校正的对象应包含这一百次事先规定的检验。
关键术语
- 假设族：共同纳入一次错误率控制的原假设集合。
- 超均匀p值：真实原假设下分布函数不超过均匀分布函数的有效p值。
- FWER：假设族中至少错误拒绝一项的概率。
- FDP：一次实验中错误拒绝占全部拒绝的比例，无拒绝时为零。
- FDR：FDP在数据分布下的期望。
- 强FWER控制：对所有允许的原假设真伪配置控制FWER。
- 逐步下降方法：按排序逐项比较并在首个失败处停止，如Holm。
- 逐步上升方法：寻找最大合格排序位置并拒绝其前全部项，如BH与BY。
- 留一法：将某p值置零，使相应拒绝数只依赖其余p值的证明构造。
- 筛选后检验：根据数据选择待检验对象，再对所选对象进行推断。
参考文献
- Balakrishnan, S. (2019). CMU 36-705, Lecture 24: Holm’s Procedure and False Discovery Rate。大学官方讲义：Holm的任意依赖证明与BH留一法。本节将真实p值条件明确写为超均匀性，并给出等号情形。
- Benjamini, Y. and Yekutieli, D. (2001). The Control of the False Discovery Rate in Multiple Testing under Dependency, Annals of Statistics 29(4), 1165–1188。作者大学主页版本：定理1.3及第5节证明BY任意依赖保证；定理5.1讨论独立情形与离散p值。正依赖扩展不属于本节BH证明范围。