21.2 共轭模型与顺序更新

21.2.1 共轭性是先验与似然的关系

上一节用贝叶斯公式定义后验与预测。本节考察三类可以精确归一化的模型：二项成功率、Poisson 事件率，以及方差已知的正态均值。所有更新都针对同一个参数；观测在给定参数后独立，不意味着积分掉参数后仍独立。先验的超参数在本节由分析者事先指定；利用数据估计它们属于经验贝叶斯的另一层问题。

由充分统计量的因子分解，若 \(L(\theta;x)=h(x)g(\theta,T(x))\)，参数无关的 \(h(x)\) 在后验归一化时消去，后验只依赖 \(T(x)\)。但计算数据的边际概率时不能丢掉 \(h(x)\)：有序序列与汇总计数属于不同的样本空间，可能有相同后验、不同边际概率。

21.2.2 Beta–Binomial：成功与失败分别更新

固定试验次数 \(n\)，给定 \(p\in(0,1)\)，成功数 \(S\mid p\sim\operatorname{Binomial}(n,p)\)。设先验为 \(\operatorname{Beta}(a,b)\)，\(a,b>0\)，密度及 Beta 函数为

观察 \(S=s\) 后，似然乘先验的核为 \(p^{a+s-1}(1-p)^{b+n-s-1}\)。两个指数分别增加成功数和失败数；它们在端点均可积。直接积分得完整归一化结果：

对一个指定的有序 Bernoulli 序列，其边际概率不含 \(\binom ns\)，后验却仍相同。对于 \(n>0\)，后验均值满足

这个加权式解释了先验集中程度 \(a+b\) 对均值更新的影响。“伪计数”必须说明基准：从均匀先验 \(\operatorname{Beta}(1,1)\) 出发，加入 \(r\) 次成功、\(f\) 次失败得到 \(\operatorname{Beta}(1+r,1+f)\)。换用 \(\operatorname{Beta}(1/2,1/2)\) 为基准，增量就不同；\(a,b\) 不能无条件当作真实观测次数。

21.2.3 Gamma–Poisson：计数与暴露量不能混淆

设给定事件率 \(\lambda>0\)，各窗口计数条件独立，\(Y_i\mid\lambda\sim\operatorname{Poisson}(t_i\lambda)\)，已知暴露量 \(t_i>0\)。记总计数 \(s=\sum_i y_i\)、总暴露量 \(T=\sum_i t_i\)。窗口不等长时，条件分布并非同分布，但似然仍可相乘。采用形状—率约定：

这里的尺度是 \(1/\beta\)，不能把率参数与尺度参数互换。似然为 \(C_y\lambda^s e^{-T\lambda}\)，其中 \(C_y=\prod_i t_i^{y_i}/y_i!\)。乘积的积分使用 \(\int_0^\infty u^{A-1}e^{-Ru}\,du=\Gamma(A)/R^A\)，因此

形状增加事件次数，率增加暴露量。单位暴露量下才有 \(R=\beta+n\)。\(\beta\) 与 \(T\) 具有相同的暴露量单位，故这一相加有量纲上的意义；它不是把一个形状参数直接加到样本量上。

21.2.4 正态均值：精度相加

给定 \(\mu\in\mathbb R\)，观测条件独立同分布 \(X_i\mid\mu\sim N(\mu,\sigma^2)\)，\(\sigma^2>0\) 已知。先验为 \(N(m_0,v_0)\)，\(v_0>0\)。乘积的指数为 \(-\tfrac12[\sum_i(x_i-\mu)^2/\sigma^2+(\mu-m_0)^2/v_0]\)。定义精度 \(q_n\) 为后验方差的倒数：

完成平方后，上述方括号等于 \(q_n(\mu-m_n)^2+C\)，其中 \(C=\sum_i x_i^2/\sigma^2+m_0^2/v_0-q_nm_n^2\)，与 \(\mu\) 无关。核的积分为 \(\sqrt{2\pi/q_n}\)，故归一化后

后验均值是先验均值与样本均值按精度加权的平均。这里 \(\sigma^2\) 真正已知；用样本方差代替它，不能仍声称上式是这个共轭模型的精确后验。

21.2.5 批量与顺序更新的等价性

指数族解释了参数为何常能相加。对条件 iid 模型 \(f_\eta(x)=h(x)\exp\{\eta^{\mathsf T}T(x)-\psi(\eta)\}\)，取固定载体 \(w(\eta)\) 及归一化常数 \(Z(\nu,\kappa)\in(0,\infty)\)，先验为

把似然乘入即可逐项核对该更新，但仍须检查新常数有限。共轭闭合只简化代数，不免除积分检查。三个具体模型分别保存成功与失败、事件数与暴露量、精度与加权总和；重复使用同一批数据，会把对应增量再加一次，得到错误的过度集中后验。

21.2.6 后验预测保留参数不确定性

未来观测给定参数后与已有数据独立。预测时对后验积分，而非将未知参数直接固定在一个估计值。对于未来 \(m\ge1\) 次 Bernoulli 试验的成功数 \(K\)，积分二项概率与 Beta 后验得

这是 Beta–Binomial 分布。归一化可直接验证：对各 \(k\) 求和后，被积函数含 \(\sum_k\binom mkp^k(1-p)^{m-k}=1\)，剩下后验密度的积分一。设 \(c_n=a_n+b_n\)、\(\bar p=a_n/c_n\)。由全方差公式，

后一项来自未来试验共享参数的后验不确定性。单次试验 \(m=1\) 时，该项为零，边际预测正是 \(\operatorname{Bernoulli}(\bar p)\)；多次试验一般不能当作成功率固定的独立 Bernoulli 试验。例21.2-1预测未来四次试验，五个概率依次为 \(1/14,4/21,2/7,2/7,1/6\)，总和一；均值为 \(16/7\)，方差为 \(66/49\)。

Gamma–Poisson 模型中，未来暴露量为 \(t_*>0\)。将 Poisson 质量函数乘 Gamma 后验，核的幂次为 \(A+k-1\)，指数率为 \(R+t_*\)；Gamma 积分给出

这是本文约定的负二项质量函数，形状 \(A\) 可为正实数，不必为整数。非负性允许交换求和与积分，Poisson 概率之和为一，故该预测也归一化。其均值为 \(t_*A/R\)，方差为 \(t_*A/R+t_*^2A/R^2\)。例21.2-2取 \(t_*=2\)，预测均值二、方差三；零事件概率为 \((2/3)^4=16/81\)，高于固定率为后验均值时的 \(e^{-2}\)。

正态模型的未来观测可生成成 \(X_*=\mu+\varepsilon_*\)，其中 \(\mu\) 取自后验、\(\varepsilon_*\sim N(0,\sigma^2)\) 与它独立。因此预测精确为 \(N(m_n,\sigma^2+v_n)\)，而参数插入预测是 \(N(m_n,\sigma^2)\)。例21.2-3的预测为 \(N(4/3,16/3)\)；新增的方差来自均值参数的不确定性。

21.2.7 小样本敏感性与 Jeffreys 先验

保持例21.2-1的三次试验、两次成功不变，换用不同先验，得到表21.2-1。四种先验均以 \(1/2\) 为均值，但集中程度不同，少量数据不足以消除这种差异。

对于单参数正则模型，参数处于内点、信息有限且为正，Jeffreys 规则取 \(\pi_J(\theta)\propto\sqrt{I(\theta)}\)。它使用Fisher 信息，不是参数变换的 Jacobian 本身。若重参数化光滑且一一对应、导数非零，则新信息为 \(I(\theta)(d\theta/d\psi)^2\)，新密度恰多出 \(|d\theta/d\psi|\)；因此保持的是先验测度，而非密度函数的数值不变。

Bernoulli 的信息为 \(1/[p(1-p)]\)，Jeffreys 先验归一化为 \(1/[\pi\sqrt{p(1-p)}]\)，即 \(\operatorname{Beta}(1/2,1/2)\)，后验对包括全成功、全失败在内的任何二项数据都适定。Poisson 事件率的总信息为 \(T/\lambda\)，给出核 \(\lambda^{-1/2}\)；它在整个正半轴不可归一化，但当 \(T>0\) 时，后验为适定的 \(\operatorname{Gamma}(s+1/2,T)\)。不能把率为零的核写成一个已归一化的 Gamma 先验。

已知方差的正态均值信息为常数，Jeffreys 核是实线上的平坦先验；\(n\ge1\) 时后验为 \(N(\bar x,\sigma^2/n)\)。方差未知的模型需另行计算信息，不能直接照搬。Jeffreys 规则并不等于普遍“没有信息”：它不自动保证所有模型的后验适定，也不自动给出频率学覆盖。不适定先验还含任意比例常数，不能据此直接计算通常的边际似然或 Bayes 因子。

21.2.8 习题与解答