16.5 抽样设计、偏差与随机化实验

统计推断必须先说明数据如何进入样本。本节区分独立抽样与固定有限总体的设计推断，推导不放回抽样的有限总体修正，证明不等概率加权估计的无偏性，并解释联合纳入概率为何决定方差。随后以固定潜在结局建立随机实验模型，给出差均值的精确期望与方差，辨析选择偏差、无响应和因果解释的条件。

先修与阅读位置

主要先修：3.4 独立事件、7.3 协方差、和的方差与相关系数、16.1 统计模型、似然与可识别性。

这是从16.1分出的抽样机制支线，不要求先完成16.3–16.4。它服务随机实验和22.1的置换推断，不能把有限总体抽样默认成iid。查看全书依赖图与分支路线。

16.5.1 总体固定时，什么是随机的

在16.1节的独立同分布模型中，观测值由未知分布产生，参数可以是这个分布的均值。本节先换一个问题：总体中的每个值已经固定，调查者只随机决定观察哪些单位。此时需要描述的是抽样设计，即所有可能样本上的概率分布。把不放回样本直接写成独立同分布观测，会漏掉由设计造成的依赖。

定义16.5-1　有限总体与设计期望

设总体包含 \(N\ge 2\) 个单位，固定值为 \(y_1,\ldots,y_N\)，目标均值及总体方差定义为

\[\bar y_N=\frac1N\sum_{i=1}^N y_i,\qquad S_N^2=\frac1{N-1}\sum_{i=1}^N(y_i-\bar y_N)^2.\]

(16.5-1)

随机样本记为 \(\mathcal S\)，纳入指示变量为 \(I_i=\mathbf1_{\{i\in\mathcal S\}}\)。下标 \(d\) 表示仅对抽样设计取期望或方差；\(y_i\) 与目标 \(\bar y_N\) 均不随这次抽样改变。

如果进一步假定这 \(N\) 个值本身是从某个更大总体的分布中独立生成的，就增加了一层随机性。这是超总体模型。设计推断可以条件于已经形成的有限总体进行，超总体推断则还要处理总体生成的变动；两种目标不能只靠更换符号合并。

16.5.2 简单随机抽样与有限总体修正

简单随机不放回抽样从全部 \(\binom Nn\) 个大小为 \(n\) 的子集中等概率选择一个，其中 \(1\le n\le N\)。令 \(f=n/N\)。计数给出单个单位及两个不同单位的纳入概率：

\[\pi_i=f,\qquad \pi_{ij}=\frac{n(n-1)}{N(N-1)},\qquad \operatorname{Cov}_d(I_i,I_j)=-\frac{f(1-f)}{N-1}\quad(i\ne j).\]

(16.5-2)

负协方差有明确的设计原因：样本大小固定，某个单位入样以后，其他单位可占用的名额少了一个。这一依赖正是方差修正的来源。

定理16.5-1　样本均值的精确设计方差

上述设计下，\(\bar y_{\mathcal S}=n^{-1}\sum_i I_i y_i\) 满足

\[\mathbb E_d\bar y_{\mathcal S}=\bar y_N,\qquad \operatorname{Var}_d(\bar y_{\mathcal S})=\left(1-\frac nN\right)\frac{S_N^2}{n}.\]

(16.5-3)

证明。期望结论由 \(\mathbb E_d I_i=n/N\) 与线性性立即得到。令 \(z_i=y_i-\bar y_N\)，则 \(\sum_i z_i=0\)，从而 \(\sum_{i\ne j}z_i z_j=-\sum_i z_i^2\)。又有 \(\operatorname{Var}_d(I_i)=f(1-f)\)，代入协方差展开式：

\[\begin{aligned} \operatorname{Var}_d(\bar y_{\mathcal S}) &=\frac{f(1-f)}{n^2}\left\{\sum_i z_i^2-\frac1{N-1}\sum_{i\ne j}z_i z_j\right\}\\ &=\frac{f(1-f)}{n^2}\frac{N}{N-1}\sum_i z_i^2 =\frac{1-f}{n}S_N^2. \end{aligned}\]

(16.5-4)

这个证明只使用固定总体值和抽样概率，既没有正态分布假设，也没有大样本近似。证毕。

当 \(n\ge2\) 时，样本方差 \(s_{\mathcal S}^2=(n-1)^{-1}\sum_{i\in\mathcal S}(y_i-\bar y_{\mathcal S})^2\) 无偏估计 \(S_N^2\)。为看清这一点，使用成对差值恒等式：

\[s_{\mathcal S}^2=\frac{\sum_{i<j}I_i I_j(y_i-y_j)^2}{n(n-1)},\qquad \sum_{i<j}(y_i-y_j)^2=N(N-1)S_N^2.\]

(16.5-5)

对第一式取期望并代入式(16.5-2)，便得 \(\mathbb E_d s_{\mathcal S}^2=S_N^2\)。因此 \((1-f)s_{\mathcal S}^2/n\) 是式(16.5-3)的无偏估计，但这尚未给出正态或 \(t\) 分布的精确区间。

不同资料对“总体方差”的分母约定不同。若使用单次均匀抽取的方差 \(\sigma_N^2=N^{-1}\sum_i z_i^2\)，公式应写成

\[\sigma_N^2=\frac{N-1}{N}S_N^2,\qquad \operatorname{Var}_d(\bar y_{\mathcal S})=\frac{\sigma_N^2}{n}\frac{N-n}{N-1}.\]

(16.5-6)

有放回独立抽取的均值方差是 \(\sigma_N^2/n\)。两种写法的修正因子分别为 \(1-n/N\) 和 \((N-n)/(N-1)\)，差别来自分母定义；标准误使用相应因子的平方根。抽遍总体时设计方差为零，说明有限总体均值已被完全观察，不能据此说超总体均值也没有不确定性。这个分母约定也可对照Berkeley Data 140的有限总体修正。

例16.5-1　五个固定值，两次抽取

取假设总体 \(2,4,6,8,10\)，则 \(\bar y_N=6\)、\(S_N^2=10\)、\(\sigma_N^2=8\)。不放回抽两个值时，均值方差为 \((1-2/5)10/2=3\)；有放回独立抽两次时为 \(8/2=4\)。十个不放回样本的均值依次为 \(3,4,5,6,5,6,7,7,8,9\)，围绕 \(6\) 的平方偏差之和为 \(30\)，除以十恰得 \(3\)。图16.5-1同时列出有放回的二十五种有序抽取，两个分布都离散，不能将曲线拟合当成精确分布。

图16.5-1　例16.5-1的精确枚举分布，两图使用相同坐标尺度。右图把两次抽取的次序计入样本空间，左图把每个二元子集计为一个样本；图中没有模拟误差。

16.5.3 不等概率抽样与 Horvitz–Thompson 估计

实际设计可以让大单位或稀有群体有更高的入样概率。此时样本均值一般不再无偏。设 \(\mathcal S\) 是任意随机子集，已知 \(\pi_i=\mathbb P_d(I_i=1)>0\)。这里每个单位最多计一次；有重复抽取的设计若采用此公式，必须先按“是否至少入样一次”定义纳入概率。

定理16.5-2　按纳入概率加权

Horvitz–Thompson（HT）总量估计及均值估计为

\[\widehat t_{\mathrm{HT}}=\sum_{i\in\mathcal S}\frac{y_i}{\pi_i},\qquad \widehat{\bar y}_{\mathrm{HT}}=\frac{\widehat t_{\mathrm{HT}}}{N},\qquad \mathbb E_d\widehat t_{\mathrm{HT}}=\sum_{i=1}^N y_i.\]

(16.5-7)

证明。把估计量写为 \(\sum_i I_i y_i/\pi_i\)。每项的期望为 \(\pi_i y_i/\pi_i=y_i\)，相加即得总体总量；总体大小已知时再除以 \(N\)。这不要求纳入指示变量独立，样本大小也可以随机。证毕。

但方差需要二阶信息。定义 \(\pi_{ij}=\mathbb E_d(I_iI_j)\)，并约定 \(\pi_{ii}=\pi_i\)，协方差展开给出

\[\operatorname{Var}_d(\widehat t_{\mathrm{HT}}) =\sum_{i=1}^N\sum_{j=1}^N (\pi_{ij}-\pi_i\pi_j)\frac{y_i y_j}{\pi_i\pi_j}.\]

(16.5-8)

若所有 \(\pi_{ij}\) 还已知且严格为正，则可以构造

\[\widehat V_{\mathrm{HT}} =\sum_{i,j\in\mathcal S} \frac{\pi_{ij}-\pi_i\pi_j}{\pi_{ij}\pi_i\pi_j}\,y_i y_j,\qquad \mathbb E_d\widehat V_{\mathrm{HT}}=\operatorname{Var}_d(\widehat t_{\mathrm{HT}}).\]

(16.5-9)

无偏性逐项来自 \(\mathbb E_d(I_iI_j/\pi_{ij})=1\)。某些 \(\pi_{ij}=0\) 时，式(16.5-8)仍是正确的理论方差，式(16.5-9)却不能照用；从未共同观察的两个值所产生的交叉项，不能直接删掉。Aronow与Samii的方差分析明确区分了这两层条件。

例16.5-2　无偏总量不等于容易估计的方差

三个固定值为 \(2,4,8\)，设计只抽一个单位，概率分别为 \(1/2,1/3,1/6\)。HT总量分别取 \(4,12,48\)，因此期望为 \(4/2+12/3+48/6=14\)，等于真实总量。精确方差为 \((4-14)^2/2+(12-14)^2/3+(48-14)^2/6=244\)。若简单把抽到的值乘以三，期望却是 \(3(2/2+4/3+8/6)=11\)，偏差为 \(-3\)。所有不同单位的联合纳入概率均为零，通常的无偏方差估计公式失效。本例能算出 \(244\)，是因为教学设定给出了整个总体；实际单次调查只见一个值，不能调用另外两个未知值完成同样计算。

较小的纳入概率对应较大的权重，无偏性并不控制估计量的波动。设计是否合理，仍应结合抽样成本、目标精度和总体结构判断。

16.5.4 选择偏差与无响应偏差

抽样误差与系统性偏差应分别检查。假设目标总体有一百人，前五十人的值为零，后五十人的值为十，而调查名单只覆盖前五十人。即使把名单内的人全部调查完，结果仍为零，距总体均值五有偏差；名单内的设计标准误可以为零。遗漏单位的纳入概率为零，加大已覆盖部分的样本量不能修复这一缺口。

无响应发生在入样之后。令 \(R_i\) 表示是否响应，\(r_i=\mathbb P_d(R_i=1\mid I_i=1)\)，实际观察指示变量为 \(D_i=I_iR_i\)。这里可以把响应随机性一并纳入设计期望，固定的 \(y_i\) 不变。若仍使用原入样权重，则

\[\mathbb P_d(D_i=1)=\pi_i r_i,\qquad \mathbb E_d\left(\sum_i\frac{D_i y_i}{\pi_i}\right)=\sum_i r_i y_i.\]

(16.5-10)

这一般不是原总体总量。已知且正的实际观察概率 \(q_i=\pi_i r_i\) 可以重新用于HT估计，但未知响应机制不会因“加权”二字自动变为已知。用估计响应率代替 \(r_i\)，需要说明模型与估计误差；观察到辅助变量，也不能直接保证无响应与未观察结局无关。调查报告应同时交代抽样框、入样设计、响应情况和目标总体。

16.5.5 随机分组如何识别平均因果效应

定义16.5-2　固定潜在结局与完全随机化

对固定的 \(N\) 名参与者，每人有两个潜在结局 \(y_i(0)\)、\(y_i(1)\)。处理必须定义清楚；无干扰假设要求本人的结局不依赖其他人的分组。一致性要求观测结局与本人所分配状态对应：

\[y_i^{\mathrm{obs}}=W_i y_i(1)+(1-W_i)y_i(0),\qquad \tau_N=\frac1N\sum_{i=1}^N\{y_i(1)-y_i(0)\}.\]

(16.5-11)

\(W_i=1\) 表示被分配到处理组。完全随机化从所有大小为 \(n_1\) 的子集中等概率选择处理组，其余 \(n_0=N-n_1\) 人为对照组，要求 \(1\le n_1\le N-1\)。潜在结局固定，只有分组随机，并假定所有参与者的观测结局都被收集。

若处理方案有多个实质不同的版本，就需重新明确状态定义；若参与者之间存在传播或相互影响，两列潜在结局通常也不够。这里的 \(W_i\) 是分配状态，不一定等于实际接受的处理。出现不依从时，下述结论针对分配方案的效应，不能直接解释为实际接受处理的效应。

定理16.5-3　差均值的无偏性与精确方差

在上述假设下，以观测结局计算的差均值为

\[\widehat\tau =\frac1{n_1}\sum_i W_i y_i^{\mathrm{obs}} -\frac1{n_0}\sum_i(1-W_i)y_i^{\mathrm{obs}},\qquad \mathbb E_d\widehat\tau=\tau_N.\]

(16.5-12)

记 \(S_z^2\) 为全部 \(y_i(z)\) 的有限总体方差，分母为 \(N-1\)；记 \(S_\tau^2\) 为个体效应 \(y_i(1)-y_i(0)\) 的同类方差。则

\[\operatorname{Var}_d(\widehat\tau) =\frac{S_1^2}{n_1}+\frac{S_0^2}{n_0}-\frac{S_\tau^2}{N}.\]

(16.5-13)

证明。由一致性，式(16.5-12)的两个和分别只保留 \(y_i(1)\) 与 \(y_i(0)\)。又有 \(\mathbb E_d W_i=n_1/N\)，逐项取期望得到两列总体均值之差，即 \(\tau_N\)。证明方差时，令 \(a_i=y_i(1)-\bar y_N(1)\)、\(b_i=y_i(0)-\bar y_N(0)\)，以及 \(S_{10}=(N-1)^{-1}\sum_i a_i b_i\)。两组各自都是简单随机样本，但不是独立样本。

设 \(\bar y_{1,T}\)、\(\bar y_{0,C}\) 为两组均值。它们的中心化形式分别是 \(n_1^{-1}\sum_i W_i a_i\) 与 \(-n_0^{-1}\sum_j W_j b_j\)。式(16.5-2)中取 \(f=n_1/N\)，并使用 \(\sum_{i\ne j}a_i b_j=-\sum_i a_i b_i\)，得到

\[\begin{aligned} \operatorname{Cov}_d(\bar y_{1,T},\bar y_{0,C}) &=-\frac{f(1-f)}{n_1n_0} \left\{\sum_i a_i b_i-\frac1{N-1}\sum_{i\ne j}a_i b_j\right\}\\ &=-\frac{S_{10}}N. \end{aligned}\]

(16.5-14)

对两组均值分别使用式(16.5-3)，再用“差的方差等于两方差之和减两倍协方差”，可得 \((1/n_1-1/N)S_1^2+(1/n_0-1/N)S_0^2+2S_{10}/N\)。最后代入 \(S_\tau^2=S_1^2+S_0^2-2S_{10}\)，即为式(16.5-13)。证毕。

当两组样本量均至少为二时，令 \(s_1^2,s_0^2\) 为各组观测结局的样本方差。前面的成对差值证明说明 \(\mathbb E_d s_z^2=S_z^2\)，因而通常采用的Neyman方差估计满足

\[\widehat V_N=\frac{s_1^2}{n_1}+\frac{s_0^2}{n_0},\qquad \mathbb E_d\widehat V_N-\operatorname{Var}_d(\widehat\tau)=\frac{S_\tau^2}N\ge0.\]

(16.5-15)

这里“保守”指方差估计的期望至少等于真实方差，并非每次得到的估计都较大。一个人不能同时被观察在两种分配状态下，通常无法无偏估计缺失的个体效应方差项。式(16.5-15)本身也不保证正态区间的有限样本覆盖率；正态近似还需要有限总体的相应极限定理条件。这些结论及证明可对照Peng Ding讲义第4章。

16.5.6 一次观测与设计平均之间的区别

例16.5-3　每人效应为正，观测差值仍可能为负

设四人的假想对照结局为 \(1,2,4,5\)，处理结局为 \(3,4,6,7\)。个体效应全为二，因此 \(\tau_N=2\)。随机选两人接受处理。若选中一号和二号，处理组均值为 \(3.5\)，对照组均值为 \(4.5\)，得到 \(\widehat\tau=-1\)。这个负差值来自这一次分组中原有结局水平的不平衡。

六种等概率处理子集按 \(\{1,2\},\{1,3\},\{1,4\},\{2,3\},\{2,4\},\{3,4\}\) 排列，差均值依次为 \(-1,1,2,2,3,5\)。其平均为二，方差为 \((9+1+0+0+1+9)/6=10/3\)。另一方面 \(S_1^2=S_0^2=10/3\)、\(S_\tau^2=0\)，式(16.5-13)也给出 \(10/3\)。这检验了精确公式，并说明无偏性是对重复随机分配求平均的性质。

图16.5-2　例16.5-3的假设数据与一次完全随机分组，表内数字均为精确值。实际实验只观察右表；左表的两种结局是为解释模型而给出的教学设定，通常无法同时获得。

随机分配为参与者之间的因果比较提供已知机制；随机抽样决定这些参与者如何代表更大的目标总体。只随机分组而未随机招募，平均效应的无偏性仍针对眼前的有限参与者；推广到其他人群需要另加抽样设计或可迁移性假设。

在观察性研究中，分组可能与原有结局水平有关，观测差均值本身只描述组间关联。要赋予因果解释，必须明确处理分配机制以及用于识别的假设，例如在所用协变量条件下分配与潜在结局的可交换性、两种状态的正概率和一致性。调整回归中的几个变量不能单凭计算保证这些条件成立。

16.5.7 习题与解答

习题16.5-1　修正因子与估计的波动

对例16.5-1不放回抽样，若抽到 \(2,10\)，计算样本均值、样本方差和均值方差的无偏估计。证明这一方差估计在设计平均下等于真实方差，并解释本次结果为何可以更大。

样本均值为六，两个离均差为负四与四，故 \(s_{\mathcal S}^2=32\)。方差估计为 \((1-2/5)32/2=9.6\)，而真实设计方差为三。成对差值恒等式与共同纳入概率给出 \(\mathbb E_d s_{\mathcal S}^2=S_N^2=10\)，所以方差估计的期望为 \((1-2/5)10/2=3\)。抽到两个端点使本次样本离散程度较大；无偏估计是随机量，不能要求每个样本都产生同一估计值。

习题16.5-2　独立纳入的总量与方差

固定总体为 \(2,4,8\)，每个单位独立以概率 \(1/2\) 入样。计算HT总量的期望与方差；若观察到一号和三号，计算总量估计及式(16.5-9)的方差估计。空样本如何处理？

此处样本大小随机，不同单位的联合纳入概率为四分之一，故交叉协方差为零。HT总量是 \(2\sum_{i\in\mathcal S}y_i\)，期望为十四，方差为 \(\sum_i(1-\pi_i)y_i^2/\pi_i=4+16+64=84\)。观察到一号和三号时，总量估计为二十；方差估计仅有对角项，等于 \(2(2^2+8^2)=136\)。空样本的两个和都取零，并不改变设计无偏性。这次的一百三十六大于八十四，只是方差估计的一种实现，不能把它当成设计方差的精确值。

习题16.5-3　一阶概率相同，方差是否相同

总体值为 \(0,0,10,10\)。设计A等概率选择 \(\{1,2\}\) 或 \(\{3,4\}\)；设计B等概率选择 \(\{1,3\}\) 或 \(\{2,4\}\)。比较一阶纳入概率、样本均值方差及 \(\pi_{12}\)。

两个设计中每个单位的纳入概率都是二分之一，样本均值也都无偏估计总体均值五。设计A的样本均值为零或十，方差为二十五；设计B的均值总为五，方差为零。两者的 \(\pi_{12}\) 分别为二分之一与零。相同的一阶权重只保证相同的线性期望计算，联合纳入概率决定哪些值共同出现，因而能使方差完全不同。不能从相同权重推断样本独立或精度相同。

习题16.5-4　“保守”是否逐次成立

四人的固定对照结局为 \(0,1,2,3\)，处理结局为 \(0,2,4,6\)，完全随机分成两组，每组两人。计算平均效应、差均值的真实方差及 \(\mathbb E_d\widehat V_N\)。当一号和二号接受处理时，方差估计是否大于真实方差？

个体效应为零、一、二、三，平均为 \(3/2\)。有 \(S_0^2=5/3\)、\(S_1^2=20/3\)、\(S_\tau^2=5/3\)，故真实方差为 \(20/6+5/6-5/12=15/4\)，方差估计的期望为 \(25/6\)，二者相差 \(5/12\)。指定分组下处理观测为零与二，对照观测为二与三，组内样本方差分别为二与二分之一，于是 \(\widehat V_N=2/2+(1/2)/2=5/4\)，小于真实方差。这给出明确反例：平均意义上的保守不意味着逐次上界，也不能单凭此性质宣称一个正态区间具有精确覆盖率。

关键术语

有限总体与超总体：前者固定全部单位值，后者另规定这些值生成的概率模型。
抽样设计：规定如何随机选择总体中的观测单位。
有限总体修正：不放回抽样依赖关系对样本均值方差的修正。
纳入概率：单位单独或两个单位共同进入样本的概率。
Horvitz–Thompson估计：按已知正纳入概率的倒数加权估计总体总量。
选择与无响应偏差：覆盖或响应机制使实际观察单位系统性偏离目标总体。
潜在结局与一致性：不同分配状态的结局，以及观测结局与实际分配状态的对应条件。
无干扰与完全随机化：前者限制单位间影响，后者规定固定组大小的等概率分配。
Neyman方差估计：由两组观测样本方差构成、在设计期望下保守的效应方差估计。

参考文献

UC Berkeley，Data 140 Textbook：13.5 Finite Population Correction。使用分母为总体大小的方差约定，给出有放回与不放回样本和的精确方差。
Peter M. Aronow、Cyrus Samii，Variance estimation for the Horvitz–Thompson estimator，§2，Statistics Canada，Survey Methodology，39卷1期，2013。核对一阶、联合纳入概率条件及零联合概率时的方差估计问题。
Peng Ding，A First Course in Causal Inference，作者讲义版本，2023。第2章说明潜在结局及一致性、无干扰假设；第4章定理4.1与§4.3给出完全随机化下的无偏性、精确方差及Neyman方差估计证明。