主要先修：9.4 乘积测度、独立性与累次积分、11.2 条件分布核与条件独立、16.1 统计模型、似然与可识别性。
贝叶斯路线从模型和条件分布核进入，可与频率检验路线并行。可信集与频率覆盖的比较可回看18.4，并不要求先完成回归章。 查看全书依赖图与分支路线。
21.1.1 抽样模型与先验联合构成概率模型
16.1节的统计模型 \(\{P_\theta:\theta\in\Theta\}\) 规定固定参数下数据的分布。贝叶斯分析再指定参数空间上的先验概率测度 \(\Pi\)。用随机变量 \(\vartheta\) 表示模型中的未知参数，先令 \(\vartheta\sim\Pi\)，再令 \(X\mid\vartheta=\theta\sim P_\theta\)。这是一种用概率描述参数不确定性的建模方式，不要求物理参数在每次观测之间改变。
设参数和样本空间均为标准Borel空间，\(\theta\mapsto P_\theta\) 是概率核，即每个可测事件 \(B\) 的概率 \(P_\theta(B)\) 对 \(\theta\) 可测。联合概率测度及数据边际为
\(M\) 称为先验预测分布：尚未观察数据时，按先验对抽样模型平均得到的数据分布。它与参数的先验分布 \(\Pi\) 位于不同空间。
若给定同一个参数后 \(X_1,\ldots,X_n\) 独立同分布，联合模型是 \(\Pi(d\theta)\prod_iP_\theta(dx_i)\)。把参数积分掉后，观测通常相关；不能改写为 \(\prod_i\int P_\theta(dx_i)\Pi(d\theta)\)。后一表达式对应每个观测重新独立抽取参数的另一个模型。固定参数下某个统计量的分布仍叫抽样分布，例如 \(\sum X_i\mid\vartheta=\theta\sim\operatorname{Bin}(n,\theta)\)，它不是参数的后验分布。
21.1.2 后验归一化与条件分布的验证
设所有 \(P_\theta\) 对同一 \(\sigma\) 有限样本测度 \(\mu\) 有密度 \(p_\theta(x)\)，且密度关于 \((\theta,x)\) 联合可测。对已经观察到的 \(x\)，\(\theta\mapsto p_\theta(x)\) 是似然。它不是自动归一化的参数概率密度；连续样本下 \(p_\theta(x)\) 也不是单点事件 \(\{X=x\}\) 的概率。
令 \(m(x)=\int p_\theta(x)\Pi(d\theta)\)。在 \(0<m(x)<\infty\) 时定义
则 \(\Pi_x\) 是 \(\vartheta\) 给定 \(X=x\) 的条件分布，即后验分布。在其余 \(x\) 处任取一个固定概率测度补全，得到一个后验核版本；这些数据在先验预测 \(M\) 下概率为零。
完整证明。Tonelli定理给出 \(\int m(x)\mu(dx)=\int\{\int p_\theta(x)\mu(dx)\}\Pi(d\theta)=1\)。所以 \(m\) 对 \(\mu\) 几乎处处有限，\(M(dx)=m(x)\mu(dx)\)，且 \(0<m(X)<\infty\) 在 \(M\) 下几乎必然。对于好点 \(x\)，分子定义参数空间上的有限测度，除以其总质量后成为概率；每个 \(A\) 的映射 \(x\mapsto\Pi_x(A)\) 可测。再对任意可测 \(A,B\)，
这正是条件分布的积分恒等式，因此验证了后验公式，而没有用零概率的连续单点事件作分母。坏点的任意补全不改变恒等式。∎
若先验对参数测度 \(\nu\) 有密度 \(\pi\)，公式变为 \(\pi(\theta\mid x)=p_\theta(x)\pi(\theta)/m(x)\)。离散参数时积分改为求和。只求后验时可以删去似然中不依赖参数的正因子；若计算数据边际 \(m(x)\)，这些因子必须保留。先验为零的集合更新后仍为零，因此数据不能使一个被先验完全排除的区域获得后验质量。
21.1.3 离散参数：后验赔率的完整计算
参数只可能取 \(1/4\) 或 \(3/4\)，先验质量分别为 \(3/5\) 和 \(2/5\)。给定参数后进行三个独立Bernoulli试验，观察有序结果 \(x=(1,1,0)\)。两个似然分别为 \(3/64\)、\(9/64\)，相乘先验得到联合质量 \(9/320\)、\(18/320\)。它们之和 \(27/320\) 是该序列的先验预测概率，归一化后有
高成功率相对低成功率的先验赔率是 \(2/3\)，似然比是3，后验赔率便为2。若再预测同一参数下的一次试验，其成功概率是 \((1/3)(1/4)+(2/3)(3/4)=7/12\)。观测比例 \(2/3\) 与后验参数均值 \(7/12\) 并不相等。
若只记录成功次数 \(S=2\)，两个似然均增加组合因子3，后验不变，而 \(P(S=2)=81/320\)。不能混淆“这一序列”和“任意含两次成功的序列”的预测概率。有限数据下先验仍有影响：把高成功率的先验质量改成 \(1/10\)，同样的数据只会把它更新到 \(1/4\)，详见习题。
21.1.4 连续参数：从密度得到事件概率
令 \(\vartheta\) 在 \((0,1)\) 上均匀，给定参数后试验独立，观察 \((1,1,1,0)\)。似然为 \(\theta^3(1-\theta)\)，数据边际为 \(\int_0^1\theta^3(1-\theta)d\theta=1/20\)。所以后验密度为
直接积分得 \(E(\vartheta\mid x)=20(1/5-1/6)=2/3\)，\(E(\vartheta^2\mid x)=20(1/6-1/7)=10/21\)，故后验方差为 \(2/63\)。分布函数是 \(F_x(t)=5t^4-4t^5\)，\(0\le t\le1\)，于是 \(\Pi_x\{\theta>1/2\}=1-F_x(1/2)=13/16\)。
密度在 \(3/4\) 处最大，但单点后验概率仍为零。后验均值、密度峰值和观测比例各表达不同概念；更一般的Beta更新与顺序计算见21.2节。这里使用明确的均匀概率先验，不把Beta形状参数无条件解释成历史观测次数。
21.1.5 后验预测保留参数不确定性
令未来观测 \(Y\) 给定参数后与当前数据 \(X\) 条件独立，其抽样核为 \(Q_\theta\)。根据条件期望的塔性质，
这就是后验预测分布。如果未来观测与当前数据在给定参数后仍相关，须改用 \(Q_\theta(B\mid x)\)，不能删除对 \(x\) 的条件。若后验预测二阶矩有限，令 \(a(\theta)=E_\theta Y\)、\(v(\theta)=\operatorname{Var}_\theta(Y)\)，全方差公式给出
第一项是给定参数后未来数据的随机性，第二项是参数仍未确定产生的不确定性。后验均值可以用于点预测，但将参数固定为一个估计值通常不会复现整个预测分布。
在算例21.1-2中，下一次成功概率为 \(2/3\)。对同一参数下未来两次条件独立试验，恰有零、一次、两次成功的后验预测概率依次是 \(1/7,8/21,10/21\)，因为分别积分 \((1-\theta)^2,2\theta(1-\theta),\theta^2\)。两次都成功的概率 \(10/21\) 不等于固定 \(\theta=2/3\) 后的 \(4/9\)，其差为后验方差 \(2/63\)。所以未来试验在给定参数后独立，在只给定当前数据后却相关。这些有限样本概率直接来自积分，无需正态近似。
21.1.6 可信集与频率覆盖
对给定模型、先验与数据，若可测参数集合 \(C(x)\) 满足 \(\Pi_x\{C(x)\}\ge1-\alpha\)，称它为水平 \(1-\alpha\) 的可信集。它为区间时称可信区间。连续单峰后验可以用分位数构造等尾区间；离散或多峰后验的集合不必是区间。
可信概率条件于已经得到的 \(x\)，描述后验参数不确定性；18.4节的频率覆盖则固定 \(\theta\)，考察重复数据下 \(P_\theta\{\theta\in C(X)\}\)。两者的随机对象不同。采用概率先验时，它们有如下准确联系。
先验平均覆盖的完整证明。假设集合的图 \(\{(\theta,x):\theta\in C(x)\}\) 可测，且可信条件在 \(M\) 下几乎必然成立。对联合模型使用条件期望与Tonelli，有
若后验质量每次恰为 \(1-\alpha\)，平均覆盖也恰等于这个数。但平均下界不能推出每个固定参数处的覆盖下界。∎
例如 \(X\mid\vartheta=\mu\sim N(\mu,1)\)，先验 \(\vartheta\sim N(0,1)\)，后验为 \(N(x/2,1/2)\)。其中心95%可信区间是 \(x/2\pm1.959964/\sqrt2\)。如果按抽样分布固定真实均值 \(\mu=4\)，覆盖仅约 \(0.1097\)，计算见习题。该区间仍对每个数据有95%后验质量，而先验平均覆盖为95%；不能把一种保证替换成另一种保证。
21.1.7 先验选择、变换与不适定先验
先验需要与参数含义、尺度和已有信息相符。可以先用先验预测检查模型会生成什么样的数据，再比较合理先验下结论的敏感性。同一批数据既用来构造先验又用来更新，不能直接解释为预先指定先验的分析；经验贝叶斯将在21.4节另行说明。
概率测度随参数变换保持一致，密度却要乘Jacobian。若 \(\theta\) 在 \((0,1)\) 上均匀，变换 \(\eta=\log\{\theta/(1-\theta)\}\) 后，先验密度为 \(e^\eta/(1+e^\eta)^2\)，并不均匀。因此不能把某个坐标下的常数密度直接解释为所有参数化下“没有信息”。
不适定先验是总质量无限的非负测度或密度表达式，不是先验概率分布。使用它时，形式后验只有在 \(0<\int p_\theta(x)\widetilde\Pi(d\theta)<\infty\) 时才能归一化。比如已知正态方差、至少一个观测时，均值上的Lebesgue测度产生可归一化的正态后验；但Bernoulli参数上的 \(d\theta/\{\theta(1-\theta)\}\)，在全成功或全失败时产生不可积表达式。
即便形式后验可归一化，也不存在由该无限测度直接构造的先验联合概率，因此不能沿用式(21.1-8)的先验平均解释。把不适定先验乘任意正常数不改变归一化后验，却改变形式数据边际，故不能直接用这种未确定尺度的边际比较模型。后验存在性、矩是否有限与计算方法是否准确，是三个分别需要检查的问题。
21.1.8 习题与解答
习题21.1-1 · 改变先验但保持数据
在算例21.1-1中，把 \(\theta=3/4\) 的先验质量改为 \(1/10\)，另一质量为 \(9/10\)，仍观察 \((1,1,0)\)。计算后验质量与下一次成功概率。
高成功率相对低成功率的先验赔率为 \(1/9\)，数据的似然比仍为3，故后验赔率为 \(1/3\)，高成功率的后验质量为 \(1/4\)，低成功率为 \(3/4\)。下一次成功概率为 \((3/4)(1/4)+(1/4)(3/4)=3/8\)。直接计算边际也可核对：\((9/10)(3/64)+(1/10)(9/64)=9/160\)。后验变化来自先验变化，而非观测数据或抽样机制变化。
习题21.1-2 · 证明未来Bernoulli试验的预测相关
给定当前数据，参数后验具有有限方差。未来 \(Y_1,Y_2\) 给定参数后独立且均服从Bernoulli分布。证明 \(\operatorname{Cov}(Y_1,Y_2\mid x)=\operatorname{Var}(\vartheta\mid x)\)，并求算例21.1-2中的相关系数。
条件独立给出 \(E(Y_1Y_2\mid\vartheta,x)=\vartheta^2\)，各自条件均值为 \(\vartheta\)。再对后验取期望，两者协方差为 \(E(\vartheta^2\mid x)-E(\vartheta\mid x)^2\)，即后验方差。算例中它是 \(2/63\)，每次试验的预测方差为 \((2/3)(1/3)=2/9\)，故相关系数为 \((2/63)/(2/9)=1/7\)。积分掉共享参数会引入依赖，并不违背给定参数后的独立性。
习题21.1-3 · 不适定Bernoulli先验何时产生后验
使用 \(\widetilde\pi(\theta)=1/\{\theta(1-\theta)\}\)，观察 \(n\ge1\) 次试验中的 \(s\) 次成功。证明形式后验可积当且仅当 \(0<s<n\)，并算出 \(n=2,s=1\) 的后验。
相乘似然后得到 \(\theta^{s-1}(1-\theta)^{n-s-1}\)。在零端附近积分有限当且仅当 \(s-1>-1\)，即 \(s>0\)；在一端有限当且仅当 \(n-s>0\)。两个条件缺一不可。\(n=2,s=1\) 时表达式恒为1，积分为1，归一化后为均匀分布。若 \(s=0\) 或 \(s=n\)，至少一端出现 \(t^{-1}\) 的对数发散，不能靠给端点指定有限值修复；有限样本也不自动保证后验存在。
习题21.1-4 · 95%可信区间的固定参数覆盖
在本节单观测正态模型中，完整推导后验及中心95%可信区间，并计算真实均值为4时的频率覆盖。
先验与似然的乘积正比于 \(\exp\{-\mu^2/2-(x-\mu)^2/2\}=\exp\{-(\mu-x/2)^2\}\exp(-x^2/4)\)，因此后验均值为 \(x/2\)、方差为 \(1/2\)。令 \(r=1.9599639845/\sqrt2\approx1.3859038243\)，可信区间是 \([x/2-r,x/2+r]\)。固定真实均值4时，覆盖事件等价于 \(8-2r\le X\le8+2r\)，而 \(X-4\sim N(0,1)\)。覆盖为 \(\Phi(4+2r)-\Phi(4-2r)=\Phi(6.77180765)-\Phi(1.22819235)\approx0.1096874\)。先验向零的收缩改变了远离零处的频率覆盖；95%的后验概率依然按该联合模型精确成立。
关键术语
- 先验分布：观察当前数据之前对未知参数指定的概率测度。
- 抽样分布：固定参数后，在重复生成数据时某个统计量的概率分布。
- 似然：固定已观察数据后，把模型密度或质量函数视为参数的函数。
- 后验分布：在指定联合模型下，参数给定当前数据的条件分布。
- 先验预测分布：以先验对参数条件下的数据分布平均得到的边际分布。
- 后验预测分布：以当前后验对未来观测的条件模型平均得到的预测分布。
- 后验赔率：两个离散参数或假设的后验概率之比，由先验赔率乘似然比得到。
- 可信集：在给定模型和数据后具有指定后验概率质量的参数集合。
- 不适定先验：无法归一化为概率的无限质量先验表达式，使用时必须检查形式后验可积性。
参考文献
- Peter Kempthorne，MIT，2016，Lecture 3: Bayesian Models，介绍先验、联合模型和后验公式，并计算Bernoulli–Beta模型及只保留成功次数的更新。
- CMU MSP 36726，2019，Overview of Bayesian Statistics，第13与14项解释先验、似然、后验归一化，以及不适定先验未必产生可归一化的后验。
- Charles J. Geyer，Stat 5421: Bayesian Inference via Markov Chain Monte Carlo，第7.1、7.6与7.7节分别讨论贝叶斯条件模型、参数变换与不适定先验的概率解释。