17.3 Rao–Blackwell与无偏最优估计

充分统计量不仅能压缩数据，还能通过条件平均改进估计风险。本节从共同条件分布核构造可实施的 Rao–Blackwell 估计，证明平方风险的精确分解与凸损失下的风险下降。完全性进一步给出 Lehmann–Scheffé 定理，从伯努利、泊松和正态样本构造无偏最优估计，并用有偏方差估计说明这种最优性的比较范围。

先修与阅读位置

主要先修：11.1 相对于信息的条件期望、16.3 充分统计量与因子分解、16.4 指数族、完全性与辅助统计量、17.1 偏差、风险与一致性。

这条最优性路线依靠条件期望、充分性与完全性。17.4的信息界是并列的比较工具，不以先学完本节为必要条件。查看全书依赖图与分支路线。

17.3.1 条件平均为何仍是估计量

若用未知参数下的总体期望 \(E_\theta\delta(X)\) 替代估计量，通常无法实际计算。相对于充分统计量取条件期望则不同：充分性提供对所有参数相同的条件分布核。这一共同版本是 Rao–Blackwell 方法能够实施的原因。

定义17.3-1　条件改进估计量

设 \(T\) 对模型 \(\{P_\theta\}\) 充分，共同条件核为 \(K(t,dx)\)。若 \(E_\theta|\delta(X)|<\infty\) 对全部参数成立，定义

\[\delta^*(t)=\int\delta(x)K(t,dx)\quad\text{当 }\int|\delta(x)|K(t,dx)<\infty;\qquad\delta^*(t)=0\quad\text{否则}.\]

(17.3-1)

核积分给出可测函数；异常条件值集合在每个 \(P_\theta^T\) 下均为零。于是同一个 \(\delta^*(T)\) 对每个参数都是 \(E_\theta(\delta\mid T)\) 的版本，且表达式不含未知参数。

塔式性质给出 \(E_\theta\delta^*(T)=E_\theta\delta\)，所以偏差保持不变。若 \(T\) 不是充分统计量，则条件期望仍有数学意义，却可能依赖未知参数。例如仅观察 \(X\sim N(\mu,1)\)，对常数统计量条件化得到 \(E_\mu X=\mu\)，它不是可从数据实施的估计量。条件核和可积性沿用11.1节与11.2节，不省略参数版本的选择。

17.3.2 平方风险与凸损失的下降

定理17.3-1　Rao–Blackwell 风险改进

设目标 \(g(\theta)\) 为有限实数，\(T\) 充分，\(E_\theta\delta^2<\infty\) 对全部参数成立。则 \(\delta^*(T)\) 平方可积，并有

\[R(\theta,\delta)=R(\theta,\delta^*)+E_\theta(\delta-\delta^*(T))^2\ge R(\theta,\delta^*),\qquad L(\theta,a)=(a-g(\theta))^2.\]

(17.3-2)

对固定参数，等号成立当且仅当两估计量几乎必然相等。对于一般非负、关于 \(a\) 凸的有限值损失，只要原估计量可积，相同条件平均也满足 \(R(\theta,\delta^*)\le R(\theta,\delta)\)，右侧允许为无穷。

证明

条件 Jensen 不等式给出 \((\delta^*(T))^2\le E_\theta(\delta^2\mid T)\)，取期望得到平方可积性。写 \(e=\delta-\delta^*(T)\)，则 \(E_\theta(e\mid T)=0\)。展开 \(\delta-g=e+(\delta^*-g)\)，交叉项可积且

\[E_\theta[e(\delta^*-g)]=E_\theta[(\delta^*-g)E_\theta(e\mid T)]=0.\]

(17.3-3)

平方展开即得式(17.3-2)。余项等于 \(E_\theta\operatorname{Var}_\theta(\delta\mid T)\)，因此也得到全方差恒等式 \(\operatorname{Var}_\theta\delta=\operatorname{Var}_\theta\delta^*+E_\theta\operatorname{Var}_\theta(\delta\mid T)\)。对于一般凸损失，固定参数后直接应用

\[L(\theta,\delta^*(T))\le\int L(\theta,\delta(x))K(T,dx)=E_\theta[L(\theta,\delta)\mid T],\]

(17.3-4)

再取期望即可。平方损失的精确余项不仅说明风险下降，也量化了条件平均消除的抽样变化。

风险改进并不要求原估计量无偏。无偏性只在进一步寻找无偏类中的统一最优方法时出现。充分性保证共同条件版本；平方风险下降本身来自条件期望的正交性。

17.3.3 完全性与 Lehmann–Scheffé 定理

定义17.3-2　UMVU 估计量

在对每个参数均平方可积的无偏估计量类中，若 \(\phi\) 无偏，且对每个同类估计量 \(D\)、每个参数都有 \(\operatorname{Var}_\theta\phi\le\operatorname{Var}_\theta D\)，则称 \(\phi\) 为一致最小方差无偏估计量（uniformly minimum variance unbiased，UMVU）。这里“一致”表示对全部参数同时比较，与随样本量变化的估计一致性是不同概念。

定理17.3-2　Lehmann–Scheffé

设 \(T\) 相对于同一模型完全且充分，并且目标 \(g(\theta)\) 存在一个对所有参数平方可积的无偏估计量 \(\delta_0\)。则 \(\phi(T)=E(\delta_0\mid T)\) 是 UMVU。它是唯一的可积无偏 \(T\) 函数，也是唯一的 UMVU，唯一性均按每个模型分布下几乎必然相等理解。

证明

定理17.3-1使 \(\phi(T)\) 可实施、平方可积并且无偏。若另一可积函数 \(\psi(T)\) 也无偏，则 \(E_\theta[\phi(T)-\psi(T)]=0\) 对全部参数成立；16.4节的完全性推出两者在每个 \(P_\theta\) 下几乎必然相等。

任取平方可积无偏估计量 \(D\)，其条件改进 \(E(D\mid T)\) 也是无偏 \(T\) 函数，因而等于 \(\phi(T)\)。全方差分解遂给出

\[\operatorname{Var}_\theta D=\operatorname{Var}_\theta\phi(T)+E_\theta[D-\phi(T)]^2.\]

(17.3-5)

所以 \(\phi\) 在整个无偏类中对每个参数均达到最小方差。如果 \(D\) 也是 UMVU，它与 \(\phi\) 的方差相等，余项只能为零，得到 \(D=\phi(T)\) 几乎必然。这没有说所有无偏估计量相同：它们具有相同的条件平均，却可保留额外的零条件均值变化。

完全充分性本身不保证任意目标都存在无偏估计。例如固定有限样本量的伯努利模型中，任何统计量的期望都是 \(p\) 的次数至多为 \(n\) 的多项式，因此不可能无偏估计 \(\mathbf1_{\{p>1/2\}}\)。应用定理前必须先验证无偏估计的存在及矩条件。

17.3.4 伯努利：从单个观测到样本比例

例17.3-1　估计成功概率与其平方

设 \(X_i\) 独立同分布于 \(\operatorname{Bernoulli}(p)\)，\(p\in(0,1)\)、\(n\ge1\)，\(T=\sum_iX_i\)。由16.3–16.4节，\(T\) 完全充分。最初的无偏估计 \(X_1\) 方差为 \(p(1-p)\)；给定 \(T=t\) 时成功位置均匀排列，所以

\[E(X_1\mid T)=\frac Tn,\qquad \operatorname{Var}_p(T/n)=\frac{p(1-p)}n.\]

(17.3-6)

条件平均所得样本比例是 \(p\) 的 UMVU，风险减少 \((1-1/n)p(1-p)\)。当 \(n>1\) 时，\(X_1\) 与 \(T/n\) 都无偏，却通常不同；这就是定理中不能混同的两种唯一性。

对目标 \(p^2\)，取 \(n\ge2\)，独立性使 \(X_1X_2\) 无偏。给定总数 \(t\ge2\)，前两个位置同时成功的比例为 \(\binom{n-2}{t-2}/\binom nt\)；\(t<2\) 时条件概率为0。因此 UMVU 为

\[\widehat{p^2}=\frac{T(T-1)}{n(n-1)}.\]

(17.3-7)

在 \(n=4,p=1/2\) 时，原估计方差为 \(p^2(1-p^2)=3/16\)。改进估计在 \(T=0,1,2,3,4\) 时依次取 \(0,0,1/6,1/2,1\)，对应二项概率为 \(1,4,6,4,1\) 各除以16。其二阶矩为 \(13/96\)，减去均值平方 \(1/16\)，方差为 \(7/96\)，风险减少 \(11/96\)。全部计算均为有限样本精确值。

17.3.5 泊松：零计数概率的无偏估计

例17.3-2　估计 \(e^{-\lambda}\)

设 \(X_i\) 独立服从 \(\operatorname{Pois}(\lambda)\)，\(\lambda>0\)、\(n\ge2\)。目标 \(g(\lambda)=P_\lambda(X_1=0)=e^{-\lambda}\)，初始估计量 \(\delta_0=\mathbf1_{\{X_1=0\}}\) 无偏且有界。\(T=\sum_iX_i\sim\operatorname{Pois}(n\lambda)\) 完全充分。

对非负整数向量 \(x\) 且 \(\sum_i x_i=t\)，用联合质量除以 \(T\) 的质量得到参数无关的多项条件核：

\[P_\lambda(X=x\mid T=t)=\frac{t!}{\prod_i x_i!}\left(\frac1n\right)^t,\qquad X_1\mid T=t\sim\operatorname{Bin}(t,1/n).\]

(17.3-8)

因而条件改进与其精确方差为

\[\phi(T)=\left(1-\frac1n\right)^T,\qquad E_\lambda\phi=e^{-\lambda},\qquad\operatorname{Var}_\lambda\phi=e^{-2\lambda+\lambda/n}-e^{-2\lambda}.\]

(17.3-9)

验证时用泊松概率生成函数 \(E a^T=e^{n\lambda(a-1)}\)：第一次代入 \(a=1-1/n\) 得均值，第二次代入 \(a=(1-1/n)^2\) 得二阶矩。故 \(\phi\) 是目标的 UMVU。

取 \(n=4,\lambda=2\)，原方差 \(e^{-2}-e^{-4}\approx0.11701964\)，改进方差 \(e^{-3.5}-e^{-4}\approx0.01188174\)。若观测总数为8，改进估计值为 \((3/4)^8\approx0.10011292\)。直接代入 \(e^{-T/n}\) 通常有偏，因为其期望为 \(e^{n\lambda(e^{-1/n}-1)}\)，并不等于 \(e^{-\lambda}\)。非线性函数的无偏估计不能靠替换参数自动得到。

图17.3-1　\(X_1\mid T=8\) 的精确 \(\operatorname{Bin}(8,1/4)\) 概率。零点柱的高度就是 \(e^{-\lambda}\) 的 Rao–Blackwell 估计值，整个条件分布与未知率无关。

17.3.6 正态方差与无偏类的边界

例17.3-3　从成对差到样本方差

设 \(n\ge2\)，\(X_i\) 独立同分布于 \(N(\mu,\sigma^2)\)，\(\mu\in\mathbb R\)、\(\sigma^2>0\) 均未知。由16.4节的开自然参数集定理，\(T=(\sum_iX_i,\sum_iX_i^2)\) 完全充分。初始估计 \(\delta_0=(X_1-X_2)^2/2\) 无偏估计 \(\sigma^2\)，且方差为 \(2\sigma^4\)，因为 \((X_1-X_2)/(\sqrt2\sigma)\sim N(0,1)\)。

样本交换性和 \(T\) 对排列不变，使每一对差平方具有相同的条件期望。把初始估计对所有无序观测对取平均，并使用恒等式 \(\sum_{i<j}(X_i-X_j)^2=n\sum_i(X_i-\bar X)^2\)，得到

\[E(\delta_0\mid T)=\frac{\sum_{i<j}(X_i-X_j)^2}{n(n-1)}=S^2,\qquad \operatorname{Var}_{\mu,\sigma^2}S^2=\frac{2\sigma^4}{n-1}.\]

(17.3-10)

最后的方差由16.2节的卡方律得到，故 \(S^2\) 是方差参数的 UMVU。取 \(n=5,\sigma^2=4\)，初始方差为32，条件平均后的方差为8；当 \(n=2\) 时两者相同，也符合风险分解的等号条件。

无偏类最优性允许被有偏方法在全估计类中改善。取固定 \(c>0\)，用 \(cS^2\) 估计 \(\sigma^2\)。由17.1节的分解，

\[R(\mu,\sigma^2;cS^2)=\sigma^4\left[(c-1)^2+\frac{2c^2}{n-1}\right].\]

(17.3-11)

对 \(c\) 求导，最优常数为 \(c=(n-1)/(n+1)\)，其风险为 \(2\sigma^4/(n+1)\)，严格小于 \(S^2\) 的 \(2\sigma^4/(n-1)\)，对每个均值与正方差都成立。这个系数只含已知样本量，因而确为可实施的估计规则。它有负偏差 \(-2\sigma^2/(n+1)\)，没有进入 UMVU 的无偏比较类。\(n=5,\sigma^2=4\) 时改进风险为 \(16/3\)，约5.33333。

图17.3-2　正态方差例的精确风险。UMVU 的最小方差结论适用于无偏类；有偏缩放可具有更小的均方误差。

习题与解答

习题17.3-1　零条件均值变化（证明）

设 \(T\) 完全充分，\(\phi(T)\) 是目标的平方可积无偏估计。若平方可积 \(D\) 也无偏，证明 \(U=D-\phi(T)\) 满足 \(E_\theta(U\mid T)=0\)。反过来，添加这类变化会怎样影响风险？

解

由充分性，\(E(D\mid T)\) 是同一个可实施的无偏 \(T\) 函数；完全性使它等于 \(\phi(T)\)，故条件期望之差为零。反过来若 \(E(U\mid T)=0\)，塔式性质给出 \(EU=0\)，所以 \(D=\phi(T)+U\) 无偏。平方可积使交叉项期望为零，风险增加量恰为 \(E_\theta U^2\)。因此所有无偏方法可有不同的额外变化；相同的是条件平均，最优方法把变化消去。

习题17.3-2　伯努利平方概率（计算）

四个伯努利样本的观测为1010。给出 \(p\) 和 \(p^2\) 的 UMVU 估计值，并判断把前者平方是否无偏估计 \(p^2\)。

解

总和 \(T=2\)，所以 \(p\) 的估计值为 \(T/4=1/2\)，\(p^2\) 的估计值为 \(T(T-1)/(4\cdot3)=1/6\)。把比例平方会得到 \(1/4\)，但其抽样期望为 \(E(T/4)^2=p^2+p(1-p)/4\)，在 \(0<p<1\) 时严格偏大。无偏性在非线性变换后通常不保留，因而必须从独立乘积或阶乘矩构造所需目标的无偏估计。

习题17.3-3　泊松条件化（计算）

两个独立 \(\operatorname{Pois}(\lambda)\) 观测的总和为3。求 \(e^{-\lambda}\) 的 UMVU 估计值；在 \(\lambda=1\) 时计算它与单个零计数指示量的方差。

解

条件核使第一个观测给定总和3时服从 \(\operatorname{Bin}(3,1/2)\)，零计数概率为 \((1/2)^3=1/8\)，这就是估计值。方差公式应使用真实参数而非把总和代入：UMVU 方差为 \(e^{-3/2}-e^{-2}\approx0.08779488\)，原指示量方差为 \(e^{-1}-e^{-2}\approx0.23254416\)。两者均无偏，下降部分来自对条件分配随机性的平均。

习题17.3-4　有偏改进与 UMVU（辨析）

对两个正态观测，\(S^2\) 是方差参数的 UMVU。求最优固定缩放 \(cS^2\) 的偏差与平方风险，并解释它为何不反驳 Lehmann–Scheffé 定理。

解

代入 \(n=2\) 得 \(c=1/3\)，其偏差为 \(-2\sigma^2/3\)，方差为 \(2\sigma^4/9\)，所以均方误差为 \(4\sigma^4/9+2\sigma^4/9=2\sigma^4/3\)。原无偏样本方差的风险为 \(2\sigma^4\)。缩放方法确实对每个正方差改善了平方风险，但它不属于无偏估计类；定理只给出该类中的统一最小方差，未声称 UMVU 在所有估计规则中风险最小。

关键术语

共同条件核：对整个模型均有效、表达式不含未知参数的条件分布。
Rao–Blackwell 条件改进：将估计量对充分统计量取条件平均的可实施规则。
条件 Jensen 不等式：凸函数作用于条件平均的值不超过相应函数值的条件平均。
全方差分解：总方差等于条件均值方差与平均条件方差之和。
完全性：在整个模型中具有零期望的可积统计量函数只能几乎必然为零。
UMVU：在全部平方可积无偏估计中对每个参数同时具有最小方差的估计量。
Lehmann–Scheffé 定理：完全充分统计量的无偏函数在存在条件下给出唯一 UMVU。
比较类：最优性所允许竞争的估计方法集合，如无偏类或全部估计规则。

参考文献

Will Fithian，UC Berkeley Stat 210A，Unbiased Estimation。包含 Rao–Blackwell 定理、完全充分统计量与无偏最优估计，以及泊松条件化算例。
Lester Mackey，Stanford STATS 300A，Lecture 4，2015。Lehmann–Scheffé 定理及其完全性、条件平均证明。
Jun Shao，University of Wisconsin–Madison，Stat 609，Lecture 22，2015。充分性、条件期望与 Rao–Blackwell 均方误差改进。