主要先修：17.1 偏差、风险与一致性、21.1 先验、后验与预测分布。
从21.1的后验和17.1的损失风险进入决策，与21.2的共轭计算并列。随后接21.4的风险解释和23.1的容许性、极小极大。 查看全书依赖图与分支路线。
21.3.1 后验分布还没有规定行动
后验分布描述模型中的参数不确定性。要决定报告哪个数值、选择哪个类别或是否采取行动，还需说明损失。设参数空间和观测空间为标准Borel空间，\(\Pi\)是正规先验概率，\(P_\theta\)是可测的抽样概率核。它们定义联合分布\(\Pi(d\theta)P_\theta(dx)\)，观测边际为\(M(dx)\)，后验核为\(\Pi(d\theta\mid x)\)，见21.1节。行动空间记为\(\mathcal A\)，损失\(L(\theta,a)\ge0\)联合可测，规则\(\delta(x)\)可测。
第一项在固定观测后对参数取平均，第二项在固定参数后对观测取平均，第三项再按先验平均参数。它们的积分对象不同。损失非负时允许取值为正无穷；要比较有限风险或作均值展开，须补充相应矩条件。
若存在可测规则\(\delta_*(x)\)，满足对\(M\)几乎处处的观测，\(\rho_x(\delta_*(x))\le\rho_x(a)\)对所有行动\(a\)成立，则\(r(\Pi,\delta_*)\le r(\Pi,\delta)\)对任意可测规则成立。若其风险有限，称其为该先验和损失下的贝叶斯规则。
完整证明。Tonelli定理与后验条件分布恒等式给出
把逐点最小化不等式对\(M\)积分即得结论。非负性避免未定义的无穷相减；若使用有正负的损失，则需绝对可积等额外条件。证毕。这个定理假设最小化行动存在且可测，没有把任意非紧行动空间的选择问题一并证明。有限行动集可规定并列时取最小编号，直接获得可测选择。
若允许给定观测后随机选行动，后验损失是\(\int\rho_x(a)Q(da\mid x)\)，不小于逐点最小值，所以随机化不会改善已存在的最小后验损失。先验边际零概率的观测可任意补全规则而不改变贝叶斯风险；这不意味着它们在所有固定参数的抽样分布下也必然无关。
21.3.2 平方损失与后验均值
设要估计实值目标\(T=g(\theta)\)，允许任意实数行动。若\(E[T^2\mid x]<\infty\)，记\(m_x=E[T\mid x]\)。平方损失的最优行动有完整的方差分解：
证明。写\(T-a=(T-m_x)+(m_x-a)\)，展开平方。交叉项的后验期望为\(2(m_x-a)E[T-m_x\mid x]=0\)，得到公式。第一项不依赖行动，第二项非负，且只在\(a=m_x\)为零，因此后验均值是唯一最优行动。若联合\(ET^2<\infty\)，各规则的风险分解再积分可得\(r(\Pi,\delta)=E\operatorname{Var}(T\mid X)+E(\delta(X)-m_X)^2\)，所有项有明确非负意义。
若行动受到约束，例如必须在闭区间\([l,u]\)中，最优行动是将\(m_x\)截到该区间；有限行动集则选最接近\(m_x\)者。对于非闭行动集，最小值可能不存在，例如后验均值为零而行动限定\((0,1)\)。还要区分\(E[g(\theta)\mid x]\)与\(g(E[\theta\mid x])\)：非线性目标通常不允许交换函数和期望。
21.3.3 绝对损失与非对称成本
若后验\(E|T|<\infty\)，绝对损失\(\rho_x(a)=E[|T-a|\mid x]\)有限且凸。设后验分布函数为\(F_x\)，单侧导数为
证明与最小化。固定T，对a的左导数在\(T<a\)时为1，在\(T\ge a\)时为−1；右导数在\(T\le a\)时为1，在\(T>a\)时为−1。差商绝对值不超过1，控制收敛允许交换单侧导数和后验期望，得到两式。凸函数在a处最小，当且仅当左导数不为正、右导数不为负。因此最优行动满足\(F_x(a-)\le1/2\le F_x(a)\)，即任意后验中位数。存在平坦区时可能有多个中位数；并非所有后验都有唯一中位数。
低估与高估的代价不同时，令\(c_u,c_o>0\)，采用
第一项处罚低估，第二项处罚高估。相同差商论证给单侧导数\((c_u+c_o)F_x(a-)-c_u\)与\((c_u+c_o)F_x(a)-c_u\)。故最优行动是后验\(\tau\)分位数，其中\(\tau=c_u/(c_u+c_o)\)，满足\(F_x(a-)\le\tau\le F_x(a)\)。低估代价越高，选择的分位数越靠上；不可把成本方向反过来。
令\(\eta=\log\theta\)先验为\(N(0,2)\)，观测\(X\mid\eta\sim N(\eta,2)\)。观察\(x=0\)，合并两个正态二次项得\(\eta\mid x\sim N(0,1)\)，所以\(\theta\mid x\)对数正态。其后验均值为\(e^{1/2}\approx1.648721\)，中位数为1，\(0.9\)分位数为\(\exp\{\Phi^{-1}(0.9)\}\approx3.602224\)。分别对应平方损失、绝对损失、低估成本为高估成本九倍的非对称绝对损失。
平方损失的最小后验期望为\(e^2-e\approx4.670774\)；绝对损失在中位数处的期望为\(e^{1/2}\{1-2\Phi(-1)\}\approx1.125565\)。计算后一结果，可在\(\theta\le a\)区间写\(E[\theta\mathbf1_{\theta\le a}]=e^{1/2}\Phi(\log a-1)\)，于是\(E|\theta-a|=e^{1/2}-a+2[a\Phi(\log a)-e^{1/2}\Phi(\log a-1)]\)。这也给出图21.3-1的精确曲线。
21.3.4 有限类别的零一损失与错误成本
类别\(C\in\{1,\ldots,k\}\)的后验概率为\(q_j=P(C=j\mid x)\)。选择类别a，零一损失为\(\mathbf1_{a\ne C}\)。后验期望恰为\(1-q_a\)，因此选择概率最大的类别；并列时任取一个最大者。这证明的是有限类别零一损失下的后验众数规则。
一般成本矩阵\(L(j,a)\)下则最小化\(\sum_jL(j,a)q_j\)，不必选择概率最大的类别。二元状态为患病1、未患病0，行动也为1或0；错误治疗成本为\(c_{\mathrm{FP}}>0\)，漏诊成本为\(c_{\mathrm{FN}}>0\)，正确行动成本为零。行动1的后验损失为\(c_{\mathrm{FP}}(1-q)\)，行动0为\(c_{\mathrm{FN}}q\)，所以
等号时两行动的后验期望损失相同，任一行动均可选。这个简化模型只用两个错误成本；若治疗副作用、状态内异质性或不行动成本不可忽略，必须相应扩充损失，而非沿用一个固定门槛。
设患病先验概率为\(1/50\)，检测阳性在患病下概率为\(9/10\)，未患病下为\(9/98\)。观察阳性，由Bayes公式后验患病概率为\((9/500)/(9/500+9/100)=1/6\)。等错误成本下，患病概率小于\(1/2\)，选择不治疗，后验损失为\(1/6\)。
若\(c_{\mathrm{FP}}=1,c_{\mathrm{FN}}=10\)，治疗损失为\(5/6\)，不治疗为\(10/6\)，因此选择治疗；此时门槛为\(1/11\)。数据、先验和后验都没有变化，行动变化来自明示的成本。这个例子用于说明统计决策的数学结构，不把虚构参数当作实际医疗依据。
21.3.5 连续MAP为何依赖坐标
对于具有连续后验密度的实参数，精确命中损失\(\mathbf1_{a\ne\theta}\)的后验期望对每个a都等于1，因为每个单点的后验概率为零。因此这种零一损失没有推出密度最大点。最大后验估计（MAP）是选定参考测度和坐标下的密度最大点，其存在性也须检查。
在例1中，\(\theta\)相对于实数Lebesgue测度的密度为
对其对数求导得\(-(1+\log t)/t\)，唯一最大点为\(e^{-1}\)。但\(\eta=\log\theta\)的后验密度是标准正态，最大点为零，映回\(\theta\)为1。密度变换包含Jacobian，所以两种MAP不一致。相反，若只是重写参数\(\varphi=h(\theta)\)，并同时把损失改为\(L^*(\varphi,a)=L(h^{-1}(\varphi),a)\)，后验期望损失不变，原行动规则不变。
若把平方损失从\((a-\theta)^2\)改成\((b-\log\theta)^2\)，这已改变行动和误差的计量，后验均值的变化合理。若在明确坐标下采用容许误差损失\(\mathbf1_{|a-\theta|>\varepsilon}\)，则最优行动最大化区间\([a-\varepsilon,a+\varepsilon]\)的后验质量。平滑密度下，这一质量除以\(2\varepsilon\)在固定a处趋于密度值；要进一步断言最优行动趋于MAP，还需一致逼近、极值分离等条件，不能只凭逐点极限。
21.3.6 平均最优、频率风险与区间目标
贝叶斯规则最小化指定先验下的平均风险，不自动在每个固定参数上风险最小；容许性与极小极大结论需另给条件，见23.1节。不适定先验不是概率测度，即使形式后验可归一化，也不能直接把上述正规先验的联合期望证明当作有限贝叶斯风险证明。
后验可信区间的目标是后验概率质量；频率置信区间的目标是每个固定参数下的抽样覆盖，见21.1节。一个可信区间不能因为使用了后验就自动成为某损失下的最优区间：区间长度、漏覆盖成本、行动空间和约束都需规定。点估计、区间报告和预测也是不同的决策对象。
21.3.7 习题与完整解答
习题21.3-1 · 离散后验的中位数区间
目标后验以相等概率取0和2。求平方损失与绝对损失的全部最优行动，并解释非唯一性。
平方损失为\(\{a^2+(2-a)^2\}/2=1+(a-1)^2\)，所以唯一最优行动为1。绝对损失为\((|a|+|2-a|)/2\)，在\([0,2]\)上恒等于1，在区间外严格大于1，所以全部最优行动是该闭区间。每个点均满足\(F(a-)\le1/2\le F(a)\)。因此允许原子时，中位数不一定是某个唯一观测支持点，也不能只返回两个端点之一而声称其他点不是最优。
习题21.3-2 · Beta后验的加权平方损失
设\(\theta\mid x\sim\mathrm{Beta}(4,2)\)。若损失为\((a-\theta)^2/[\theta(1-\theta)]\)，求最优行动，比较普通平方损失。
展开加权平方，正二次项系数为\(E[1/\{\theta(1-\theta)\}]\)，一阶条件给\(a_*=E[1/(1-\theta)]/E[1/\{\theta(1-\theta)\}]\)。由Beta积分，\(E[1/(1-\theta)]=5\)，\(E[1/\theta]=5/3\)，且倒数乘积等于两个倒数之和，因此\(a_*=5/(5+5/3)=3/4\)。这些矩在该后验下有限，二次系数严格正，故唯一最优。普通平方损失下后验均值为\(4/6=2/3\)。改变权重已经改变损失，均值规则不能原样保留。
习题21.3-3 · 多分类的成本改变最优类
后验三个类别概率为\((0.45,0.35,0.20)\)。按零一损失决策；再设误判真实类别3的成本为十，其他误判成本为一，正确为零，求最优行动。
零一损失下三个后验损失为\(0.55,0.65,0.80\)，所以选类别1。新成本下，选择1的损失为\(0.35+10\times0.20=2.35\)，选择2为\(0.45+10\times0.20=2.45\)，选择3为\(0.45+0.35=0.80\)，所以选类别3。真实类别3概率最小，却因漏判该状态成本高而成为最优报告。计算必须沿真实状态逐行加权成本，不能在最大概率规则后凭直觉加一个修正。
习题21.3-4 · 重参数化与平方损失
在例1中，比较估计\(\theta\)的后验均值与先估计\(\eta=\log\theta\)的后验均值再取指数。哪个在\(\theta\)平方损失下更好？
直接估计\(\theta\)得到\(m=e^{1/2}\)，先估计\(\eta\)再取指数得到\(e^0=1\)。在原平方损失下，方差分解表明行动1比行动m多出\((1-e^{1/2})^2\approx0.420839\)的后验期望损失。后者是对\(\eta\)的平方损失最优行动映回来的结果；没有同时变换原损失，就不能声称在原问题仍最优。连续MAP例子更进一步表明密度最大点本身还取决于参考坐标。
关键术语
- 行动空间：规则允许输出的决策或估计值集合。
- 后验期望损失：固定观测后，按后验分布平均行动损失。
- 贝叶斯风险：按正规先验平均各固定参数下的抽样风险。
- 贝叶斯规则：在指定先验、损失与规则类中使平均风险最小的规则。
- 后验中位数：满足后验两侧质量均至少一半的实数。
- 非对称损失：低估与高估或不同误判类别受到不同代价。
- MAP：指定坐标和参考测度下的后验密度最大点。
- 可测选择：最小化行动随观测变化时仍构成可测决策规则。
参考文献
- Peter Kempthorne，MIT 18.655，2016，Lecture 11: Bayes Procedures。大学官方讲义，讨论后验损失最小化、分类、非平方损失以及同时变换损失的重参数化原则。
- Will Fithian，Berkeley Stat 210A，Statistical decision theory。大学官方课程材料，说明损失、固定参数风险与先验加权风险的区别。正文的单侧导数证明、对数正态算例与成本矩阵均在本节直接计算。