主要先修：9.6 绝对连续与拉东—尼科迪姆定理、11.1 相对于信息的条件期望、11.2 条件分布核与条件独立、16.1 统计模型、似然与可识别性。
本节接16.1，研究数据汇总保留的模型信息。因子分解的测度证明使用9.6与11.2，随后接16.4的完全性和17.3的估计改进。 查看全书依赖图与分支路线。
16.3.1 充分性的条件核定义
设整份数据 \(X\) 取值于标准 Borel 空间 \((\mathcal X,\mathcal A)\)，模型为 \(\{P_\theta:\theta\in\Theta\}\)。统计量 \(T:\mathcal X\to\mathcal T\) 是不含未知参数的可测映射，其值域也设为标准 Borel 空间。条件分布核的构造和唯一性沿用11.2节。
若存在同一个概率核 \(K(t,A)\)，使对每个参数 \(\theta\)，\(K(T,A)\) 是 \(P_\theta(X\in A\mid T)\) 的版本，则称 \(T\) 对整个模型充分。等价地，对任意可测集合 \(A\subseteq\mathcal X\)、\(B\subseteq\mathcal T\)，
核对每个条件值给出概率测度，并且对条件值可测；它的表达式不随参数改变。不同参数下，具有正概率的条件值集合可以不同。
这一定义说：知道 \(T\) 后，样本余下的随机变化可由同一个条件机制描述。它不要求余下数据恒定，也不要求 \(X\) 与 \(T\) 独立。在频率学派模型中，参数是固定索引，不能在未给参数指定先验分布时直接把充分性写成普通的随机变量条件独立。完整样本 \(T=X\) 总是充分；常数统计量则只有在所有 \(P_\theta\) 相同的模型中充分。
16.3.2 因子分解定理
在上述标准 Borel 条件下，假设模型由同一个 σ有限测度 \(\mu\) 支配，密度为 \(p_\theta=dP_\theta/d\mu\)。则 \(T\) 充分，当且仅当存在有限取值的非负可测函数 \(h(x)\)、\(g_\theta(t)\)，使对每个 \(\theta\)，
只有 \(g_\theta\) 可以含参数，\(h\) 对整个模型固定。此陈述允许支持依赖参数，相关的指示函数必须保留在因子中。等式的例外零测集可以依赖 \(\theta\)，并不默认存在同时适用于不可数多个参数的共同例外集。
在可数样本空间，用计数测度时，条件质量函数可直接写成
该式只需在某个参数下具有正概率的 \(t\) 上使用；在从不出现的值上另选固定概率测度。连续模型中，集合 \(T=t\) 往往具有零概率，不能以零除零照搬式(16.3-3)。下一小节给出覆盖两种情形的证明。
16.3.3 用共同混合与条件核证明
先构造共同支配概率。 由 \(\mu\) 的σ有限性，可选与它具有相同零测集的概率测度 \(\nu\)。令 \(S_\theta=\{p_\theta>0\}\)，并记所有有限个 \(S_\theta\) 的并在 \(\nu\) 下的测度上确界为 \(a\)。选一列有限并逼近 \(a\)，合并其中的参数，得到可数序列 \(\theta_j\)，其支持并 \(C\) 满足 \(\nu(C)=a\)。对任一 \(\theta\)，把 \(S_\theta\) 加入这些有限并，仍不超过上确界；取极限得 \(\nu(C\cup S_\theta)\le a\)，所以 \(\nu(S_\theta\setminus C)=0\)。于是概率测度及其密度
支配每个 \(P_\theta\)。有限序列可通过重复参数写成同样形式。\(Q\)-零集恰好是对全部模型分布均为零的集合。
充分性推出分解。 如果存在共同核 \(K\)，对式(16.3-1)按上述权重求和，\(K\) 也是 \(Q\) 下给定 \(T\) 的条件核。因 \(P_\theta^T\ll Q^T\)，令 \(r_\theta=dP_\theta^T/dQ^T\)。对任意有界可测 \(f\)，核积分公式给出
因此 \(dP_\theta/dQ=r_\theta(T)\)，进而 \(p_\theta=q\,r_\theta(T)\) 在 \(\mu\)-几乎处处成立；取 \(h=q\)、\(g_\theta=r_\theta\) 即得分解。\(q=0\) 的部分对所有模型分布均为零。
分解推出充分性。 反过来，设式(16.3-2)成立。可数个混合参数的例外集之并仍是零测集，故 \(q=hG(T)\)，其中 \(G(t)=\sum_j2^{-j}g_{\theta_j}(t)\)。在 \(Q\) 下，\(G(T)\) 几乎必然有限且为正；密度在零测集上的无限值可预先修补。由共同支配性，
在其余值上任意有限补定义。取 \(Q\) 下的正则条件核 \(K\)，它由标准 Borel 条件存在。对任意 \(A,B\)，
这就是同一个核对全部参数成立的充分性定义。证明中的测度变换使用9.6节的拉东—尼科迪姆导数，条件核积分使用11.2节的结果。
16.3.4 最小充分与似然比例
充分统计量 \(T\) 称为最小充分，如果对任何其他充分统计量 \(S\)，都存在可测函数 \(\phi\)，使 \(T=\phi(S)\) 对每个 \(P_\theta\) 几乎必然成立。在共同混合 \(Q\) 下，这是同一个几乎必然恢复关系。这里的“最小”比较保留的信息，不是比较实数坐标的个数。
比较两份样本的似然形状时，安全的等价关系是：存在不含参数的常数 \(c>0\)，使
先排除对所有参数均为零的点。式(16.3-8)同时要求两点在哪些参数下密度为正完全一致。在共同正密度支持上，它等价于 \(p_\theta(x)/p_\theta(y)\) 不依赖参数；若支持变化，只在两者都为正的参数区间计算比值会遗漏信息，\(0/0\) 也没有比值意义。
在可数样本空间上，若 \(T(x)=T(y)\) 当且仅当式(16.3-8)成立，则 \(T\) 最小充分。
每个 \(T\) 的纤维选代表 \(y_t\)，并选一个满足 \(p_{\theta_t}(y_t)>0\) 的参数。令 \(g_\theta(t)=p_\theta(y_t)\)、\(h(x)=p_{\theta_t}(x)/p_{\theta_t}(y_t)\)。比例关系给出因子分解，故 \(T\) 充分。任意充分 \(S\) 的分解在活动样本点上具有 \(h_S(x)>0\)。若 \(S(x)=S(y)\)，则两似然按 \(h_S(x)/h_S(y)\) 成比例，从而 \(T(x)=T(y)\)。所以 \(T\) 是 \(S\) 的函数；在可数空间，此恢复映射可测。
连续模型的密度可在零测集上改动，因此逐点比值判据需要约定版本和可测恢复条件。一个稳妥的验证办法是先证明 \(T\) 充分，再从有限或可数个密度比 \(dP_\theta/dQ\) 中可测地恢复 \(T\)。式(16.3-5)说明任意充分 \(S\) 都能表示每个这样的比值；可数个版本可共同去掉一个 \(Q\)-零集，因而恢复得到最小充分性。下面的连续例使用显式恢复。
16.3.5 伯努利样本：总和与条件排列
设 \(X_1,\ldots,X_n\) 独立服从 \(\operatorname{Bernoulli}(p)\)，\(0<p<1\)。令 \(T=\sum_iX_i\)，则联合质量为 \(p^{T(x)}(1-p)^{n-T(x)}\)。取 \(h=1\) 即得充分性；条件核更明确：
给定成功次数后，所有相应排列等概率。例如 \(n=3,t=1\)，序列100、010、001各有条件概率 \(1/3\)，与 \(p\) 无关。两样本质量之比为 \([p/(1-p)]^{T(x)-T(y)}\)，参数无关当且仅当两总和相等，故由可数判据，\(T\) 最小充分。若观测 \(n=4\) 的序列1010，保留总和2即可保留模型中的参数信息；但 \(T/n\) 的方差仍为 \(p(1-p)/4\)。充分性没有消除有限样本误差。
16.3.6 正态样本：充分性随模型而变
设正态样本独立同分布，\(n\ge2\)。若方差1已知、仅均值 \(\mu\in\mathbb R\) 未知，则
因此总和 \(A=\sum_iX_i\) 充分。比较均值1与均值0的密度，\(\log(p_1/p_0)=A-n/2\)，可从该比值恢复 \(A\)。由于两模型互相绝对连续，任何充分 \(S\) 都能表达这个比值，因此 \(A\) 最小充分。
若均值和方差都未知，\(\mu\in\mathbb R\)、\(\sigma^2>0\)，则
二元统计量 \((A,B)\) 充分。相对于 \(N(0,1)\) 样本的密度，参数 \((\mu,\sigma^2)=(1,1)\) 的对数比为 \(A-n/2\)，参数 \((0,2)\) 的对数比为 \(B/4-(n/2)\log2\)。这两个比值分别恢复 \(A,B\)，给出最小充分性。它与 \((\bar X,S^2)\) 等价，因为 \(A=n\bar X\)、\(B=(n-1)S^2+n\bar X^2\)。
例如 \(x=(0,1,2)\)、\(y=(1,1,1)\)，二者总和均为3，平方和却分别为5、3。均值未知、方差已知时可将两样本归入同一充分汇总；方差也未知时，其密度比为 \(e^{-1/\sigma^2}\)，仍含参数，总和便不充分；严格地说，由16.2节，给定总和后残差平方和仍有非退化的卡方变化，故不能从总和几乎必然恢复 \(B\)。数值比较用于辨认似然形状，不把单点密度解释为样本恰等于该点的概率。
16.3.7 均匀端点：支持不能省略
设 \(X_i\) 独立同分布于 \(U(0,\theta)\)，\(\theta>0\)。选密度版本在上端点取非零值，记 \(M=\max_iX_i\)，则
端点取值不影响概率分布。因子分解给出 \(M\) 充分。其条件核还可直接构造：给定 \(M=m>0\)，先在 \(n\) 个位置中均匀选择一个放置最大值 \(m\)，再让其余 \(n-1\) 个位置独立服从 \(U(0,m)\)。按最大值位置拆开联合密度可验证该核；最大值密度 \(nm^{n-1}\theta^{-n}\) 乘以位置权重 \(1/n\) 和其余密度 \(m^{-(n-1)}\)，恰好恢复 \(\theta^{-n}\)。核不含 \(\theta\)。
最小充分性也须注意支持。取共同混合 \(Q=\sum_{j\ge1}2^{-j}P_j\)，其中 \(P_j\) 表示端点为正整数 \(j\) 的样本分布，其密度在正正交象限为正。对任意充分 \(S\)，每个 \(r>0\) 对应的 \(p_r/q\) 都是 \(S\) 的函数。只取正有理数 \(r\)，可同时除去一个共同零集，然后用
可测地恢复 \(M\)，故 \(M\) 最小充分。观测 \((0.2,0.5,0.8)\) 时，似然在 \(\theta<0.8\) 为零，在 \(\theta\ge0.8\) 为 \(\theta^{-3}\)。\(M/\theta\) 的分布函数为 \(u^3\)，且 \(E_\theta M=3\theta/4\)。充分统计量本身可以有偏；\(4M/3\) 才是这里的无偏端点估计。若删去似然的支持指示函数，会错误地得到所有正样本点的似然成比例。
习题与解答
习题16.3-1 保留更多数据（证明）
在支配模型中，设 \(T\) 充分，且 \(T=\psi(S)\) 为可测映射。证明 \(S\) 充分，并解释为什么从充分性不能推出最小充分性。
由因子分解，\(p_\theta(x)=g_\theta(T(x))h(x)=(g_\theta\circ\psi)(S(x))h(x)\)，复合函数可测，因而 \(S\) 充分。如果等式只在共同模型零集外成立，也不改变分解的几乎处处意义。完整数据总能恢复任何统计量，所以完整样本充分，但伯努利样本的总和通常不能恢复排列；完整样本因而一般不最小充分。额外保留信息不会破坏充分性，却可能破坏最小性。
习题16.3-2 条件排列的精确计算
对四个独立伯努利样本，计算给定 \(T=2\) 时 \(P(X_1=1,X_2=1\mid T=2)\) 以及 \(P(X_1=1\mid T=2)\)。
总和为2的序列共有 \(\binom42=6\) 个，充分条件核使它们各占 \(1/6\)。前两位都为1时只有1100符合条件，所以第一个概率为 \(1/6\)。第一位为1时，后三位必须恰有一次成功，符合序列有3个，故第二个概率为 \(3/6=1/2\)。条件后的两个坐标并不独立，因为 \(1/6\ne(1/2)^2\)；充分性要求参数无关，并未要求条件坐标独立。
习题16.3-3 仅在共同正支持上计算比值（辨析）
均匀端点模型取 \(n=2\)，比较样本 \(x=(0.1,0.4)\)、\(y=(0.2,0.8)\)。有人说在 \(\theta\ge0.8\) 时密度比恒为1，所以两样本应合并为相同的最小充分值。指出错误。
在 \(0.4\le\theta<0.8\) 时，前一密度为 \(\theta^{-2}\)，后一密度为零；不存在正的参数无关常数让两个密度对所有参数成比例。只检查二者同时为正的参数区间，删掉了支持对参数的限制。两个最大值分别为0.4和0.8，足以区分这项信息，因此最小充分统计量必须给出不同值。
习题16.3-4 最大值无偏化与误差（计算）
对 \(U(0,\theta)\) 的三个独立观测，推导 \(\widehat\theta=4M/3\) 的方差。充分性是否意味着它没有估计误差？
由最大值密度，\(E M^k=3\theta^k/(3+k)\)，因此 \(EM=3\theta/4\)、\(EM^2=3\theta^2/5\)。相减得 \(\operatorname{Var}M=3\theta^2/80\)，再乘以 \((4/3)^2\)，得到 \(\operatorname{Var}\widehat\theta=\theta^2/15\)。这个正方差反映重复抽样中的估计误差。充分性只说明该模型中的全部样本信息可由最大值表示，不保证无偏、零风险或对所有损失函数最优。
关键术语
- 充分统计量：给定它后，整份样本存在参数无关的条件分布核。
- 条件分布核：对条件值可测、对事件集合为概率测度的映射。
- 支配模型：所有模型分布都对同一个测度绝对连续的模型。
- 因子分解：把密度写成参数与统计量的函数乘以固定样本函数。
- 最小充分统计量：可由任意充分统计量可测恢复的充分统计量。
- 似然比例：两份样本的全部参数似然之间只差一个正的固定倍数。
- 支持约束：决定哪些样本点在指定参数下具有正密度的条件。
- 共同模型零集：在每个模型分布下都具有零概率的集合。
参考文献
- Will Fithian，UC Berkeley Stat 210A，Sufficiency。包括条件定义、因子分解、离散证明与数据压缩的比较；本节另展开标准 Borel 支配模型中的条件核证明。
- Jun Shao，University of Wisconsin–Madison，Stat 609，Lecture 23: Minimal Sufficiency，2015。讨论最小充分性、似然比恢复以及正态和支持变化的例子；连续模型在本节按共同零集与可测恢复表述。
- Rick Durrett，Probability: Theory and Examples，第5版，2019，§4.1.3。用于条件分布核与核积分的测度论基础。