主要先修：17.1 偏差、风险与一致性、21.3 损失函数与贝叶斯决策。
这是决策路线的入口：先有17.1的风险与21.3的后验损失，再比较容许性和极小极大。23.2与23.3分别进入不可突破的下界和可改进的收缩规则。 查看全书依赖图与分支路线。
23.1.1 风险比较需要规定模型、损失和规则类
在17.1节中，偏差和方差已经用来比较估计量；21.3节则用先验加权风险选择贝叶斯规则。本节研究两个进一步问题：一条规则能否被另一条规则整体改进，以及在未知参数可能遍及整个参数空间时，最大风险能降到多低。比较之前必须固定统计模型、估计目标、损失函数和允许的规则类。
设数据分布为\(P_\theta\)，\(\theta\in\Theta\)，行动空间为\(\mathcal A\)，非负损失为\(L(\theta,a)\)。非随机化规则是可测函数\(\delta:\mathcal X\to\mathcal A\)。随机化规则则是从数据到行动的概率核\(K(x,da)\)，其风险为
确定规则对应点质量\(K(x,da)=\delta_{\delta(x)}(da)\)。损失非负，Tonelli定理允许上述积分，即使某些风险为无穷。本页涉及风险差和最优性证明时会要求相关风险有限。
参数在频率风险中固定，期望对可能得到的数据及规则自己的随机化取平均。观察到某个样本后，损失只是一项数值；它与整条参数风险函数不同。随机化核也须由已知模型和数据指定，不能使用尚未知道的真实参数。检验的随机化边界是这类规则的一个例子。
平方损失下消去行动随机化。若行动为实数，目标为\(g(\theta)\)，且给定每个数据\(x\)的随机行动\(A\)有有限二阶矩，定义\(m(x)=\int aK(x,da)\)。条件平方分解给出
再对\(P_\theta\)积分，便有\(R(\theta,m)\le R(\theta,K)\)。这要求\(m(x)\)属于允许的行动空间；实数或凸区间均满足。对于有限分类行动和0–1损失，均值未必是合法行动，这个消去随机化的证明不能照搬。
23.1.2 支配、容许性与极小极大
若对所有\(\theta\)有\(R(\theta,\delta_1)\le R(\theta,\delta_0)\)，且至少一个参数处严格小于，则称\(\delta_1\)支配\(\delta_0\)。没有允许的规则支配它时，\(\delta_0\)称为容许的（admissible）。极小极大风险（minimax risk）则定义为
这里\(\mathcal D\)是预先规定的可测规则类，可包含随机化规则。若某条规则达到该下确界，就称为极小极大规则。下确界未必由某条规则达到，最大风险也可能为无穷。
容许性考察逐点风险的整体改进，极小极大只考察风险曲线的最高处。二者没有一般的等价关系。一条极小极大规则可能在低于最高风险的区域被改善，而最大风险仍保持不变；有偏规则也可能比所有无偏规则具有更小的最大平方风险。因此，无偏类的UMVU结论须与本节的比较范围分开。
规则的结论还依赖参数空间。将参数限制在已知区间内，可能改变最坏位置和最优规则；更换损失也会改变风险。在平方损失下有效的收缩，在另一种损失下需要重新计算。后文的风险公式均针对明确列出的参数空间，没有把一种最优性当作所有使用情境的推荐。
23.1.3 贝叶斯风险如何给出下界
给定参数空间上的概率先验\(\Pi\)，令\(r_\Pi(\delta)=\int R(\theta,\delta)\Pi(d\theta)\)，\(b_\Pi=\inf_{\delta\in\mathcal D}r_\Pi(\delta)\)。\(b_\Pi\)是一个数；参数已经积分掉，因而它不依赖\(\theta\)。要应用下列定理，需要检查的是频率风险\(R(\theta,\delta_\Pi)\)，而不是观察\(b_\Pi\)是否“恒定”。
对任意先验有\(b_\Pi\le r^*\)。若一条贝叶斯规则\(\delta_\Pi\)存在，且满足\(\sup_\theta R(\theta,\delta_\Pi)=b_\Pi<\infty\)，则它是极小极大规则，并有\(r^*=b_\Pi\)。特别地，有限常风险的贝叶斯规则满足该条件。
完整证明。对任意允许规则\(\delta\)，其先验平均风险不超过最大风险，同时不小于贝叶斯最优风险。因此
对规则取下确界得\(r^*\ge b_\Pi\)。若已有\(\delta_\Pi\)达到最大风险\(b_\Pi\)，则定义又给\(r^*\le b_\Pi\)，两边相等。若它的风险恒为\(c\)，先验平均也为\(c\)，且因它是贝叶斯规则有\(b_\Pi=c\)。这一步只使用积分不等式和最优性的定义，无需中心极限定理。
达到最强贝叶斯下界的先验称为最不利先验。它是证明工具，不必解释成使用者对真实参数的信念。若一列先验\(\Pi_j\)的贝叶斯风险趋于\(c\)，而某条规则最大风险为\(c\)，同样得到\(r^*=c\)；这可以处理不存在最不利概率先验的情况。
23.1.4 有偏估计也能降低最大风险
设\(S\sim\operatorname{Bin}(n,p)\)，\(p\in[0,1]\)，在平方损失下估计\(p\)。样本比例\(\delta_0=S/n\)无偏，风险为\(p(1-p)/n\)，最大风险为\(1/(4n)\)。对\(a>0\)，考虑对称收缩规则\(\delta_a=(S+a)/(n+2a)\)。直接计算偏差和方差得
取\(a=\sqrt n/2\)，含\(p\)的项消失，风险为\(1/[4(\sqrt n+1)^2]\)。由21.2节的共轭更新，该规则是\(\operatorname{Beta}(a,a)\)先验下的后验均值，也是在平方损失下的贝叶斯规则。上节定理遂证明它的极小极大性，包括端点参数。
当\(n=4\)时，规则为\((S+1)/6\)，常风险为\(1/36\approx0.02778\)；样本比例的最大风险为\(1/16=0.0625\)。但在\(p=0\)时，样本比例风险为0，收缩规则仍有风险\(1/36\)；在\(p=0.05\)时，样本比例风险为\(0.05\times0.95/4=0.011875\)。降低最大风险并没有逐点支配样本比例。观测到\(S=0\)时，两个估计值分别为0和\(1/6\)，差别来自所选比较目标。
23.1.5 随机化在有限决策中的作用
令\(\Theta=\{0,1\}\)，观察\(X\in\{0,1\}\)，且\(P_0(X=1)=1/5\)，\(P_1(X=0)=1/10\)。行动也是0或1，误判损失为1。规则“行动等于\(X\)”的风险为\((R_0,R_1)=(1/5,1/10)\)，最大风险为\(1/5\)。允许在\(X=0\)时以概率\(a\)报1，在\(X=1\)时以概率\(b\)报1，则
取\(a=0,b=10/11\)，两个风险均为\(2/11\)。证明最优性时，用权重\(\Pi(0)=9/11,\Pi(1)=2/11\)：
所有规则的最大风险至少等于这个平均风险，故至少为\(2/11\)；所给规则达到该界。它的随机化只发生在观察到1时，把一部分原来风险较小的参数1的优势转移到参数0。这里每个步骤是有限概率计算，四个确定规则均不能达到同样小的最大风险。
有限参数空间中，若先验在每个参数处都有正质量，有限贝叶斯风险的规则不可能被另一规则支配：逐点不增且某处严格减少，会使先验平均风险严格下降。连续参数空间中，单点严格改善可能落在先验零测集；常用充分条件是风险连续、先验对每个非空开集给正质量，并且相关贝叶斯风险有限。不能省略这些条件，把任何贝叶斯规则都称为容许。
23.1.6 习题与解答
习题23.1-1 · 常数贝叶斯风险足够吗？
有人算出某先验的贝叶斯风险为一个不含参数的数，便称对应规则极小极大。指出缺少哪一步，并给出正确的上下界证明方式。
贝叶斯风险本来就把参数积分掉，因此所有先验的贝叶斯风险都不含参数。还须计算规则的频率风险，并证明它的最大值等于贝叶斯风险。若规则最大风险为\(c\)、某先验最优平均风险也为\(c\)，则任意规则的最大风险至少为\(c\)，而已有规则达到\(c\)，才能推出极小极大结论。仅有一个平均风险数值，无法排除该规则在某些参数处风险更高。
习题23.1-2 · 风险曲线在哪些位置相交？
对\(n=4\)，求样本比例与例1极小极大规则风险相等的参数位置，判断各自在哪些区间风险较小。
令\(p(1-p)/4=1/36\)，得到\(p^2-p+1/9=0\)，根为\((3-\sqrt5)/6\)与\((3+\sqrt5)/6\)，约0.12732和0.87268。样本比例的风险是开口向下的抛物线，因此在两个根之间高于\(1/36\)，在两端较低。两个规则的风险各有优势区域，均不能由这一比较直接判定逐点支配；该结果也解释图23.1-1的两处相交。
习题23.1-3 · 有限先验下的容许性
设有限参数空间中先验权重\(\pi_j\)均为正，\(\delta\)为有限风险的贝叶斯规则。证明它容许，并说明若某参数先验权重为0，哪一步可能失效。
若\(\widetilde\delta\)支配\(\delta\)，则每个风险差\(R(\theta_j,\widetilde\delta)-R(\theta_j,\delta)\le0\)，且至少一个严格负。正权重加总必严格负，使\(\widetilde\delta\)平均风险更低，与贝叶斯最优性矛盾。若严格改善只发生在先验质量为0的参数，则加总未必严格下降，所以该证明不能排除支配。这说明先验支持是容许性论证中的实质条件。
习题23.1-4 · 最不利先验序列
观察\(Y\sim N(\theta,\sigma^2)\)，\(\theta\in\mathbb R\)，\(\sigma^2>0\)已知，平方损失。用\(N(0,\tau^2)\)先验证明\(\delta(Y)=Y\)是极小极大规则。
规则\(Y\)的风险恒为\(\sigma^2\)，给极小极大风险上界。正态共轭后验方差为\(v_\tau=\sigma^2\tau^2/(\sigma^2+\tau^2)\)，平方损失贝叶斯风险就是该后验方差，因为后验均值的条件最小风险等于方差。于是\(r^*\ge v_\tau\)对每个\(\tau>0\)成立。令\(\tau\to\infty\)得\(r^*\ge\sigma^2\)，上下界相合。并未把不存在的均匀概率先验放在整条实轴上，而是使用适定先验序列。
关键术语
- 决策规则
- 将数据映射为行动的可测函数或概率核。
- 风险函数
- 在每个固定参数下对数据及规则随机化平均的损失。
- 支配
- 所有参数处风险不增，且至少一处严格减少。
- 容许性
- 没有允许的规则逐点支配当前规则。
- 极小极大风险
- 所有规则最大风险的下确界。
- 贝叶斯风险
- 以先验对风险加权后，在规则类中取得的最优平均风险。
- 最不利先验
- 使贝叶斯风险达到最强下界的先验。
- 随机化规则
- 给定数据后仍按指定概率选择合法行动的规则。
参考文献
- Fithian, W. Minimax Estimation，Berkeley Stat 210A课程讲义：贝叶斯下界、最不利先验与二项模型。本节选择四次试验并逐点比较风险，有限二元随机化例另行构造。
- Fithian, W. (2023). Statistical Decision Theory，伯克利官方讲义：统计模型、损失与风险。
- MIT. 18.655 Mathematical Statistics，2019课程大纲：估计最优性、贝叶斯与极小极大理论的核心课程位置。具体结论与证明依据前两项讲义及本页推导。