主要先修：16.1 统计模型、似然与可识别性、16.2 正态抽样、枢轴量与精确分布、17.1 偏差、风险与一致性。
这是检验与区间路线的入口，先定义水平、功效、p值与覆盖。18.2–18.3研究检验最优性，18.4研究精确区间，18.6研究一族检验的错误率。 查看全书依赖图与分支路线。
18.1.1 假设与检验函数
在模型 \(\{P_\theta:\theta\in\Theta\}\) 中，指定两个不相交的参数集合 \(\Theta_0,\Theta_1\)，分别表示原假设 \(H_0\) 与备择假设 \(H_1\)；本节设它们合起来为整个参数空间。如果假设规定一个确定的数据分布，就称为简单假设；包含多个分布则为复合假设。例如已知方差正态模型中的 \(\mu=0\) 是简单原假设，\(\mu\le0\) 是复合原假设。若还存在未知方差，即使均值固定也不再指定一个分布。
检验函数是可测映射 \(\varphi:\mathcal X\to[0,1]\)，\(\varphi(x)\) 表示观测为 \(x\) 时拒绝 \(H_0\) 的概率。用独立 \(U\sim U(0,1)\)，在 \(U\le\varphi(X)\) 时拒绝即可实施。只取0、1的检验是非随机化检验，其拒绝域为 \(\{x:\varphi(x)=1\}\)。
“不拒绝”表示这项规则没有给出足够的反对证据，不能因此断言原假设已被证明。检验针对的是具体模型及具体假设；拒绝一个关于均值的假设也不验证模型中其他未检验的条件。
18.1.2 检验大小、水平与功效
记 \(\pi_\varphi(\theta)=E_\theta\varphi(X)\)。在 \(\Theta_0\) 上，它是一类错误概率，即原假设为真时误拒的概率；在 \(\Theta_1\) 上，它是功效，即备择为真时拒绝原假设的概率。二类错误概率为 \(1-\pi_\varphi(\theta)\)，仅在备择参数上这样解释。定义检验大小（size）为
若大小不超过预先指定的 \(\alpha\)，称为水平 \(\alpha\) 的检验；若严格小于，则该检验在这个标称水平下保守。水平是给定上界，大小是规则在模型下实际达到的上确界。
复合原假设要求同时控制每个原假设分布，不能只在任选参数处检验。如果上确界由某个参数取得，该参数是这一规则的最不利原假设参数；它可能随拒绝阈值变化，也可能不存在取得上确界的参数。备择也有多个参数时，功效通常是一条曲线，须指定目标效应才能讨论样本量。下一节研究在给定水平约束下怎样比较功效。
18.1.3 p 值的有效性与超均匀性
可测统计量 \(p(X)\in[0,1]\) 是针对 \(H_0\) 的有效 p 值，如果对每个 \(\theta\in\Theta_0\) 和 \(u\in[0,1]\)，
这称为超均匀性：p 值在原假设下随机地不小于均匀变量。因此规则 \(\mathbf1_{\{p\le\alpha\}}\) 自动是水平 \(\alpha\) 的检验。有效性并不要求 p 值在每个原假设分布下精确均匀。
先看简单原假设 \(P_0\)。选择实值统计量 \(S\)，约定较大的值更反对原假设。令 \(F(s)=P_0(S\le s)\)，并定义上尾 p 值
引入与样本独立的 \(U\sim U(0,1)\)。记跳跃大小为 \(\Delta F(s)=F(s)-F(s-)\)，考虑随机化上尾
证明它均匀，只需证明 \(R=F(S-)+V\Delta F(S)\) 均匀，其中 \(V=1-U\) 仍为独立均匀变量。固定 \(v\in(0,1)\)，取分位点 \(q=\inf\{s:F(s)\ge v\}\)，有 \(F(q-)\le v\le F(q)\)。在 \(S<q\) 的部分，\(R\le v\)，贡献概率 \(F(q-)\)；在 \(S>q\) 的部分，\(R\ge v\)，边界等号只会来自零概率的平坦区间或均匀变量端点。
若 \(\Delta F(q)>0\)，条件 \(S=q\) 下 \(R\) 均匀铺在 \([F(q-),F(q)]\)，其贡献为 \(\Delta F(q)(v-F(q-))/\Delta F(q)=v-F(q-)\)。若跳跃为零，则 \(F(q)=F(q-)=v\)，且 \(P(S=q)=0\)，总贡献同样为 \(v\)。因此 \(P(R\le v)=v\)，也有 \(p_{\mathrm{rand}}=1-R\sim U(0,1)\)。
普通上尾满足 \(p=1-F(S-)\ge p_{\mathrm{rand}}\)，故 \(P_0(p\le u)\le P_0(p_{\mathrm{rand}}\le u)=u\)。连续分布没有跳跃，两种 p 值相同而精确均匀；有原子时，普通尾概率通常更保守。
“超均匀”是抽样分布的性质，不是说一次得到的 p 值很大。它也不是 \(P(H_0\mid X)\)：原假设概率的后验计算需额外指定先验，见第21章。p 值依赖模型、检验统计量和比较方向；只报一个数值不能替代这些定义。
18.1.4 复合原假设与二项精确检验
对同一个统计量 \(S\)，若每个简单原假设尾概率为 \(p_\theta(x)=P_\theta(S\ge S(x))\)，则可构造
假设这个上确界是可测函数。对任一真实原假设参数 \(\theta_0\)，有 \(p_{\sup}\ge p_{\theta_0}\)，于是 \(P_{\theta_0}(p_{\sup}\le u)\le u\)。这是控制复合假设的一种通用办法，但不保证产生最有功效的检验，也不能任意用估计参数替代上确界。
设 \(X_i\) 独立服从 \(\operatorname{Bernoulli}(\rho)\)，\(n=10\)，检验 \(H_0:\rho\le1/2\) 对 \(H_1:\rho>1/2\)，统计量 \(T=\sum_iX_i\)。用独立均匀变量表示 \(X_i=\mathbf1_{\{V_i\le\rho\}}\)，同一组 \(V_i\) 下总数随参数单调增加。所以每个上尾的最不利参数都是 \(\rho=1/2\)。
若观测 \(T=8\)，精确上尾 p 值为
在5%水平，普通尾规则不拒绝。因为 \(P_{1/2}(T\ge9)=11/1024\approx0.01074219\)，而 \(P_{1/2}(T\ge8)>0.05\)，非随机化上尾检验选择 \(T\ge9\) 作为拒绝域，其大小仅约1.07%。这里“精确”指使用真实有限样本分布，并不指大小恰等于标称水平。
若允许边界随机化，在 \(T\ge9\) 总拒绝，在 \(T=8\) 以概率 \(\gamma\) 拒绝，较小值不拒绝。令
规则仍随总数单调，故复合原假设的大小恰为0.05。在备择 \(\rho=0.7\) 时，非随机化功效约0.14930835，加入边界随机化后功效约0.35787885。随机化上尾 \(11/1024+U(45/1024)\) 在观测总数8时，也恰好给出这个随机化决策。
18.1.5 正态模型的功效与样本量
设 \(X_i\) 独立同分布于 \(N(\mu,\sigma^2)\)，已知 \(\sigma>0\)，检验 \(H_0:\mu\le0\) 对 \(H_1:\mu>0\)。令 \(z_q=\Phi^{-1}(q)\)，用规则
因为标准化均值精确服从 \(N(\sqrt n\mu/\sigma,1)\)，功效随均值增加，原假设最不利值是0，大小恰为 \(\alpha\)。这是有限样本精确结论，未用中心极限定理。相应复合原假设 p 值为 \(1-\Phi(\sqrt n\bar X/\sigma)\)。
取 \(\alpha=0.05\)、\(\sigma=2\)、\(n=25\)，拒绝阈值为 \(\bar X>0.65794145\)。若观测均值0.8，则标准化值2、p 值约0.02275013。在真实均值1处，功效为 \(1-\Phi(1.64485363-2.5)\approx0.80376494\)，二类错误概率约0.19623506。
设计时预先指定希望检出的正效应 \(\delta>0\) 及功效 \(1-\beta\)，反解式(18.1-8)得到
在右侧为正的通常设计中，最小整数样本量为 \(\left\lceil\sigma^2(z_{1-\alpha}+z_{1-\beta})^2/\delta^2\right\rceil\)。上述模型取 \(\delta=1\)，80%功效需要 \(\lceil24.73022893\rceil=25\)，90%功效需要 \(\lceil34.25538940\rceil=35\)。保证针对指定效应；任意接近零的备择均值，其功效仍接近显著性水平。方差未知时不能直接按这个已知方差模型声称精确功效。
18.1.6 检验反演与置信集覆盖
对目标 \(g(\theta)\) 的每个候选值 \(\eta\)，设 \(\varphi_\eta\) 是检验 \(H_{0,\eta}:g(\theta)=\eta\) 的非随机化水平 \(\alpha\) 规则，包括对原假设中全部干扰参数的控制。假设对应成员事件可测。定义
则对每个参数，\(P_\theta(g(\theta)\in C(X))\ge1-\alpha\)，所以 \(C\) 是覆盖至少 \(1-\alpha\) 的置信集。
固定真实参数，令 \(\eta_0=g(\theta)\)。此时 \(\theta\) 属于 \(H_{0,\eta_0}\)，该检验的水平控制给出 \(P_\theta(\varphi_{\eta_0}=1)\le\alpha\)。按置信集定义，真实目标被排除恰好等价于这个正确原假设被拒绝，故覆盖概率为 \(1-P_\theta(\varphi_{\eta_0}=1)\ge1-\alpha\)。反过来，任何具有这一覆盖保证的置信集都可通过 \(\varphi_\eta=\mathbf1_{\{\eta\notin C\}}\) 构造水平检验。
随机化检验也可反演：使用同一个独立均匀变量，取 \(C(X,U)=\{\eta:U>\varphi_\eta(X)\}\)，相同证明给出联合抽样与随机化下的覆盖率。若采用有效 p 值族，规则 \(p_\eta\le\alpha\) 的反演就是 \(C(X)=\{\eta:p_\eta(X)>\alpha\}\)。置信集未必是区间，也可能为空；端点开闭应与检验拒绝等号的约定相容。
在正态例中，将每个候选均值 \(m\) 的单侧点检验反演，拒绝条件为 \(\bar X-m>z_{0.95}\sigma/\sqrt n\)，所得95%单侧置信集为 \([\bar X-z_{0.95}\sigma/\sqrt n,\infty)\)。观测均值0.8时，下界约0.14205855。若改用双侧检验 \(|\sqrt n(\bar X-m)/\sigma|>z_{0.975}\)，则反演为通常的双侧95%区间；两个方向需要重新分配尾概率。
覆盖率评价的是随机集合在重复抽样中包含固定真值的频率。一次观测后，不能把95%覆盖解释为所得到的具体区间具有95%的参数后验概率。同样，小 p 值不衡量效应大小，大 p 值也不保证效应很小；这些判断还需估计值、区间与功效的共同说明。
习题与解答
习题18.1-1 复合 p 值的有效性（证明）
若 \(p_\theta\) 对每个简单原假设 \(P_\theta\) 有效，证明可测 \(p_{\sup}=\sup_{\theta\in\Theta_0}p_\theta\) 对复合原假设有效。任意选一个原假设参数计算 p 值能否得到同样保证？
对真实原假设参数 \(\theta_0\)，逐样本有 \(p_{\sup}\ge p_{\theta_0}\)，故 \(\{p_{\sup}\le u\}\subseteq\{p_{\theta_0}\le u\}\)，后者在 \(P_{\theta_0}\) 下概率不超过 \(u\)。这个论证对全部 \(\theta_0\) 成立。若只挑一个参数，所得 p 值仅已知在该分布下有效；除非另外证明该参数为所有相关尾概率的最不利值，否则无法控制其他原假设参数下的一类错误。
习题18.1-2 严格尾与离散原子（辨析）
例18.1-1中改用 \(p'(T)=P_{1/2}(T'>T)\)，即不把观测点计入尾概率。在 \(T=10\) 时该 p 值是多少？它是否超均匀？
在总数10处，严格上尾为0，但原假设边界下这个事件有概率 \(1/1024\)。因此 \(P_{1/2}(p'\le0)=1/1024>0\)，已违反超均匀性的零点要求；即使只检查正阈值，取 \(u=1/2048\) 也仍有错误概率至少 \(1/1024>u\)。离散原子不能省略。普通有效尾应包含观测点，或用独立随机化在原子质量内分配概率。
习题18.1-3 正态功效（计算）
沿用 \(\alpha=0.05\)、\(\sigma=2\)、\(n=25\) 的单侧规则，求均值0.5处的功效和二类错误率。为何均值1处的80%设计不能保证该处也达到80%？
标准化效应为 \(\sqrt{25}\cdot0.5/2=1.25\)。代入功效函数得到 \(1-\Phi(1.64485363-1.25)\approx0.34647546\)，所以二类错误概率约0.65352454。效应减半后，分布相对拒绝阈值的位移也减半；功效设计只针对预先指定的效应1，并非针对整个正半轴。若要在0.5处达到同一80%目标，样本量公式给出 \(\lceil98.92091571\rceil=99\)。
习题18.1-4 区间反演与检验（证明、计算）
正态例观测均值0.8，构造双侧95%均值区间。判断双侧5%检验是否拒绝均值0，并证明从任意95%置信集反演得到的点检验满足水平要求。
标准误为0.4，双侧临界值 \(z_{0.975}\approx1.95996398\)，所以区间为 \(0.8\pm0.78398559\)，约 \([0.01601441,1.58398559]\)。零不在其中，故相应双侧检验拒绝，双侧 p 值约0.04550026。一般地，当真实目标等于候选值 \(\eta\) 时，拒绝事件 \(\eta\notin C(X)\) 正是置信集未覆盖真实值的事件；其概率不超过0.05，因此反演检验有水平保证。
关键术语
- 原假设：检验规则优先要求控制误拒概率的模型集合。
- 复合假设：包含多个可能数据分布的假设。
- 检验函数：把每份观测映为拒绝概率的可测规则。
- 检验大小：原假设参数范围内拒绝概率的上确界。
- 显著性水平：事先规定的一类错误概率上界。
- 功效：指定备择参数下拒绝原假设的概率。
- 超均匀性：原假设下 p 值不超过任何阈值的概率均不超过该阈值。
- 最不利参数：使指定检验错误概率达到原假设内最大值的参数。
- 检验反演：保留所有未被拒绝的候选目标值以构造置信集。
参考文献
- Will Fithian，UC Berkeley Stat 210A，Hypothesis Testing and the Neyman–Pearson Lemma，2024。检验函数、复合假设的水平约束及正态功效。
- Will Fithian，UC Berkeley Stat 210A，Lecture 16: p-Values and Confidence Regions，2024。超均匀性、检验与置信集的对偶及解释边界；本节展开含原子的随机化分位点证明。
- Philippe Rigollet，MIT 18.650，Chapter 5: Parametric Hypothesis Testing，2016。假设、错误类型、水平、功效及 p 值的基本组织。