主要先修：21.2 共轭模型与顺序更新、21.3 损失函数与贝叶斯决策。
先有共轭更新和后验决策，再分析组间结构、收缩与超参数不确定性。20.1提供组均值动机；23.3的Stein现象是风险比较的后续联系。 查看全书依赖图与分支路线。
21.4.1 组内噪声与组间差异
设有 \(G\) 个组，每组得到一个均值测量 \(Y_i\)。例如组内有 \(n_i\) 个独立正态观测，已知单点方差 \(\sigma_i^2\)，则组均值的抽样方差为 \(s_i^2=\sigma_i^2/n_i\)。以下把所有 \(s_i^2>0\) 当作已知，使用精确正态抽样模型；若均值只近似正态或这些方差由数据估计，须额外分析这种近似与估计误差。
给定超参数 \((\mu,u)\)，其中 \(u=\tau^2\ge0\)，各组潜在均值 \(\theta_i\) 独立同分布。写成 \(Y_i=\theta_i+\varepsilon_i\)，其中给定超参数后，各观测误差相互独立，并与整个潜在均值向量独立：
\(\mu\) 表示组总体中心，\(u\) 是组间方差，\(s_i^2\) 是组内抽样方差。\(u=0\) 时，第一层解释为 \(\theta_i=\mu\) 的退化分布，而不是具有零分母的正态密度。
这三类分布的对象不同：\(N(\theta_i,s_i^2)\) 是固定组参数下的抽样分布；\(N(\mu,u)\) 是给定超参数的组均值先验；观察全部数据后 \(\theta_i\) 的条件分布才是后验。共同层次需要领域依据。若组别属于不同机制，可以引入已知协变量解释中心差异，而不应强制所有组围绕同一中心。潜在均值在这个模型中可交换，即调换组编号不改变其条件联合分布；当 \(s_i^2\) 不同时，观测向量本身未必可交换。
21.4.2 已知超参数时的收缩公式
若 \(u>0\)，超参数已知，则各 \(\theta_i\) 给定数据后仍独立，且
\(B_i\) 是向总体中心收缩的权重，\(1-B_i\) 是当前组数据的权重。平方损失下的条件贝叶斯估计为 \(m_i\)，参见21.3节。
完整证明。固定 \((\mu,u)\) 后，联合先验与似然分别按组相乘。每组后验的指数中有
配方所得的精度为 \(v_i^{-1}=s_i^{-2}+u^{-1}\)，均值为 \(v_i(Y_i/s_i^2+\mu/u)\)，化简即为式(21.4-2)。后一个平方项不含 \(\theta\)，归一化只留下正态密度。整体因子分解给出条件后验独立性。将两项密度的乘积对 \(\theta\) 积分，还得到边际 \(Y_i\mid\mu,u\sim N(\mu,u+s_i^2)\)。∎
精度低的组具有较大 \(s_i^2\)，因而更多依赖中心；组间方差大时，各组可以保留更多差异。\(u\downarrow0\) 时所有条件后验退化到已知 \(\mu\)，对应完全汇聚；\(u\) 很大时 \(m_i\) 接近 \(Y_i\)，对应不汇聚。中间情形称部分汇聚。这里的收缩根据明确的联合模型，同时利用组观测与组间分布。
21.4.3 经验贝叶斯与边际似然的零边界
经验贝叶斯先用各组数据估计超参数，再把 \((\widehat\mu,\widehat u)\) 代入式(21.4-2)。这是对条件后验族的代入方法，没有给超参数构造完整后验。常用的估计准则是把组参数积分掉后的边际似然：
同精度情形的完整最大化。若所有 \(s_i^2=s^2>0\)，对每个固定 \(u\)，最大化均值项等价于最小化平方和，故 \(\widehat\mu=\bar Y\)。令 \(S=\sum_i(Y_i-\bar Y)^2\)，剖面对数似然为 \(-G\log(s^2+u)/2-S/\{2(s^2+u)\}+C\)，其导数是
若 \(S/G\le s^2\)，导数在正半轴非正，最大值在 \(u=0\)。否则导数在 \(S/G-s^2\) 之前为正、之后为负，故这是全局最大值。分母 \(G\) 来自边际似然最大化；用 \(G-1\) 的样本方差再减 \(s^2\) 是另一种矩估计，截断后也一般有偏。∎
精度不同时，固定 \(u\) 的 \(\widehat\mu(u)\) 是以 \((u+s_i^2)^{-1}\) 加权的均值。把它代回式(21.4-4)，可数值最大化 \(u\)，必须包括零边界，并比较全部候选极值；不能把一个驻点自动称作全局解。边界解说明数据尚未提供足够组间离散，并不证明真实组间差异严格为零。
取 \(G=5\)，各组已知抽样方差为4，观测 \(Y=(-2,-1,0,1,7)\)。其均值为1，离均差平方和为 \(9+4+1+0+36=50\)。边际最大似然给出 \(\widehat u=50/5-4=6\)，收缩权重 \(\widehat B=4/(6+4)=2/5\)，数据权重为 \(3/5\)。所以经验贝叶斯估计依次为
最大观测7向中心1收缩为4.6，其余组同样按距离收缩。每个代入条件方差都是 \(6\times4/10=12/5\)，标准差约1.5492。这些方差将所估计的中心与组间方差视为已知，尚未计算估计超参数的误差；不能直接称它们为完整贝叶斯后验方差。
21.4.4 完整贝叶斯传播超参数不确定性
完整贝叶斯为 \((\mu,u)\) 指定超先验概率测度 \(H\)，再对整个联合模型条件化。在有密度时，超参数后验为 \(h(\mu,u\mid Y)\propto h(\mu,u)\prod_i\phi(Y_i;\mu,u+s_i^2)\)。这里 \(\phi(\cdot;a,v)\) 是均值 \(a\)、方差 \(v>0\) 的正态密度。
本节已知正的 \(s_i^2\)，使边际似然处处正且不超过 \(\prod_i(2\pi s_i^2)^{-1/2}\)。因此任何超先验概率都给出正且有限的归一化常数。若改用不适定超先验，这一论证不再适用；而后验二阶矩是否有限仍须单独核查。
对具有有限后验二阶矩的组参数，塔性质与全方差公式给出
第一项对条件方差平均，第二项保留超参数变化造成的条件均值变化。代入法只取某一点的 \(v_i(\widehat u)\)，不会自动包含第二项。完整方差至少等于它自己的平均条件方差，但不一定大于任意代入值，因为 \(E\{v_i(u)\mid Y\}\) 未必等于 \(v_i(\widehat u)\)。同样，非线性权重下的完整后验均值一般不等于把超参数后验均值代入公式。
沿用五组数据和 \(s^2=4\)，这次把 \(u=6\) 作为已知模型参数，并指定 \(\mu\sim N(0,100)\)。这是可完全积分的层次贝叶斯模型。边际 \(Y_i\mid\mu\sim N(\mu,10)\)，其独立性条件于 \(\mu\)；配方得到
条件后验为 \(\theta_i\mid\mu,Y\sim N(0.6Y_i+0.4\mu,2.4)\)。将 \(\mu\) 的正态后验积分掉，或写成独立正态成分之和，完整组后验是
额外方差为 \(0.16b=16/51\)，完整后验标准差约1.6473。最后一组的后验均值为 \(1171/255\approx4.5922\)。若只把 \(\mu=a\) 代入，因公式对 \(\mu\) 线性，点估计恰与完整后验均值相同，但方差仍只为2.4。不同组的后验协方差均为 \(16/51\)：给定 \(\mu\) 后它们独立，积分掉共享中心后不再独立。这里尚未让 \(u\) 未知，便已出现无法省略的不确定性。
21.4.5 零边界、预测与估计风险
若边际似然选择 \(\widehat u=0\)，经验贝叶斯代入会把所有组后验压为位于 \(\widehat\mu\) 的点质量。它把估计为零的组间方差和仍然未知的共同均值都当作确定。完整贝叶斯即便假定 \(u=0\)，也会保留 \(\mu\) 的后验不确定性，见习题21.4-3。若超先验只在 \(u>0\) 上有连续密度，边界点的后验概率为零；是否赋予“完全没有组间差异”正质量，是另一项模型选择。
已有组的未来观测和新组的未来观测不能混用同一预测方差。算例21.4-2中，已有组再测量一次，其预测方差为 \(4+692/255\)。新组需要先抽取 \(\theta_{\rm new}\mid\mu\sim N(\mu,6)\)，所以新组均值后验预测为 \(N(a,6+b)\)，若还加入方差4的观测噪声，得到 \(N(a,10+b)\)。新组预测保留组间差异；已有组则已从本组数据获得额外信息。
层次收缩的风险也要说明平均对象。固定已知 \((\mu,u)\) 和单个组的真实参数 \(\theta_i\)，估计 \(\delta_i=(1-B_i)Y_i+B_i\mu\) 的频率平方风险为
在 \(s_i^2=4,u=6\) 时，它是 \(1.44+0.16(\theta_i-\mu)^2\)，只有 \(|\theta_i-\mu|<4\) 时小于直接估计 \(Y_i\) 的风险4。但按 \(N(\mu,6)\) 对组参数平均，风险为 \(1.44+0.16\times6=2.4\)，与条件后验方差相同。这是指定先验下的平均风险改进，并非逐点支配；超参数从数据估计后，也不能原样引用固定权重风险公式。23.3节的James–Stein结论将在指定维数、正态模型和总平方损失下证明特定规则的风险性质，不能推广为任意收缩均最优。
组数少时，组间方差估计与超先验选择往往有显著影响。增加每组观测数可以提高本组均值精度，却不等同于增加独立组数来学习组间分布。完整贝叶斯的模型内概率也不自动提供每组固定真实参数处的频率覆盖；可核查先验预测、组间结构与合理超先验下的敏感性。
21.4.6 习题与解答
习题21.4-1 · 两组不同精度的收缩
已知 \(\mu=0,u=4\)，两组观测为 \(Y_1=3,Y_2=3\)，抽样方差分别为1和9。求两组条件后验，并解释它们为何不同。
第一组的收缩权重为 \(1/(4+1)=1/5\)，后验均值为 \((4/5)3=12/5\)，方差为 \(4/5\)。第二组收缩权重为 \(9/(4+9)=9/13\)，后验均值为 \((4/13)3=12/13\)，方差为 \(36/13\)。相同观测值不意味着相同信息量：高噪声组更靠近中心，同时仍有更大的后验方差。两组后验独立，是因为本题把共享超参数固定为已知。
习题21.4-2 · 证明收缩估计的风险公式
固定已知中心 \(\mu\) 与权重 \(B\in[0,1]\)，\(Y\sim N(\theta,s^2)\)。证明式(21.4-10)，再对 \(\theta\sim N(\mu,u)\) 平均并求最优权重。
误差分解为 \(\delta-\theta=(1-B)(Y-\theta)+B(\mu-\theta)\)。第一项均值为零、方差为 \((1-B)^2s^2\)，故平方期望的交叉项为零，得到频率风险。再对指定组间分布平均，风险为 \((1-B)^2s^2+B^2u\)。这是凸二次函数，导数为 \(-2s^2+2B(s^2+u)\)，唯一最小权重为 \(B=s^2/(s^2+u)\)，平均风险为 \(us^2/(u+s^2)\)。优化的是该先验下的平均风险，不能推出对任意固定 \(\theta\) 都优于不收缩。
习题21.4-3 · 组间方差为零不代表后验方差为零
三个组的观测为 \((-1,0,1)\)，已知抽样方差4。求边际似然经验贝叶斯估计；另假定 \(u=0\)、超先验 \(\mu\sim N(0,100)\)，求完整后验的组均值方差。
观测均值为零，离均差平方和为2，故 \(\widehat u=\max(0,2/3-4)=0\)。代入的组参数均为零，条件方差也为零。完整模型的 \(u=0\) 只表示所有 \(\theta_i=\mu\)，并没有说明 \(\mu\) 已知。三次独立测量给出的后验精度为 \(1/100+3/4=19/25\)，因此 \(\mu\mid Y\sim N(0,25/19)\)。每个 \(\theta_i\) 方差为 \(25/19\)，彼此完全相关。两种结论的差别来自是否保留共同均值的不确定性。
习题21.4-4 · 完整后验的组间协方差与新组预测
在算例21.4-2中，证明不同组的后验协方差为 \(16/51\)，并计算一个新组均值与一次新组测量的预测方差。
条件于 \(\mu,Y\)，不同组后验独立，故条件协方差为零；条件均值分别为 \(0.6Y_i+0.4\mu\)。全协方差公式留下 \(0.4^2\operatorname{Var}(\mu\mid Y)=0.16(100/51)=16/51\)。新组均值给定中心的方差是6，积分中心后方差为 \(6+100/51=406/51\)；再加入独立的方差4测量噪声，方差为 \(610/51\)。已有组的再次观测则为 \(4+692/255=1712/255\)，因为本组数据已经更新了潜在均值。
关键术语
- 层次模型：通过组参数及其共同分布的参数分层描述数据与组间差异的联合模型。
- 组间方差：给定总体中心后不同组潜在均值的分散程度。
- 组内抽样方差：固定组参数后，当前组均值测量的随机误差方差。
- 超参数：决定组参数先验分布形状、中心或尺度的参数。
- 超先验：完整贝叶斯中为超参数指定的先验概率分布。
- 部分汇聚：按组观测精度与组间差异，将组估计向共同中心有限度地收缩。
- 边际似然：积分掉组参数后，作为超参数函数的数据密度。
- 经验贝叶斯：从同一组数据估计先验超参数并将估计值代入条件贝叶斯分析的方法。
- 完整贝叶斯：在指定超先验后对全部参数条件化，并积分传播超参数不确定性的分析。
参考文献
- Will Fithian，Berkeley Stat 210A，2025，Interpretations of Probability and Sources of Priors，第2.5与第3节区分层次贝叶斯和经验贝叶斯，并从正态边际模型讨论收缩权重的学习。
- Peter Kempthorne，MIT 18.655，2016，Lecture 11: Bayes Procedures，层次先验部分给出正态随机效应的两种联合表示，并说明组参数推断需要积分其他参数。