主要先修：7.7 正态随机变量的其他性质、9.3 勒贝格积分与积分收敛定理、17.1 偏差、风险与一致性、23.1 容许性、极小极大与风险比较。
接23.1的支配与风险比较，再用正态积分证明Stein收缩。21.4的层次模型提供解释联系，23.2提供上下界比较；二者不是这里积分证明的必要先修。 查看全书依赖图与分支路线。
23.3.1 同时估计改变了比较问题
设一次观测为\(Y\sim N_d(\theta,\sigma^2I_d)\)，\(\sigma^2>0\)已知，参数\(\theta\in\mathbb R^d\)没有约束。损失采用全部坐标的平方误差之和\(L(\theta,a)=\|a-\theta\|^2\)。原估计\(\delta_0(Y)=Y\)既是最大似然估计，又逐坐标无偏，其风险为\(d\sigma^2\)。这些性质仍不能保证它在允许有偏估计的集合中容许。
第17.1节已经看到，预先指定的线性收缩\(aY\)会减少方差，也会增加偏差。它的风险为\(a^2d\sigma^2+(1-a)^2\|\theta\|^2\)，所以任意固定\(a\ne1\)都不能在整个参数空间改善原估计。本节让收缩程度随数据变化，并直接计算这一适应性带来的风险。结论来自正态密度的分部积分，是有限样本恒等式，不调用中心极限定理。
这里的\(d\)是参数维数，不是样本量；各坐标独立，但均值通常不同。对可微向量函数\(g=(g_1,\ldots,g_d)\)，散度为\(\operatorname{div}g(y)=\sum_i\partial_i g_i(y)\)。它衡量估计修正项对各坐标变化的总响应，正是自适应估计风险中需要补偿的部分。
23.3.2 Stein恒等式与无偏风险估计
若\(g\)连续可微，\(g\)及一阶导数至多按多项式增长，则对每个固定\(\theta\)，
令\(\delta(Y)=Y+g(Y)\)，则
完整证明。正态联合密度\(p_\theta\)满足\(\partial_i p_\theta(y)=-(y_i-\theta_i)p_\theta(y)/\sigma^2\)。将\(\int g_i\partial_i p_\theta\)按第\(i\)个坐标分部积分，边界乘积因高斯衰减而为零，得\(E[(Y_i-\theta_i)g_i(Y)]=\sigma^2E\partial_i g_i(Y)\)。多项式增长保证绝对可积，可以交换积分次序并求和。再展开\(\|Y-\theta+g(Y)\|^2\)，第一项期望为\(d\sigma^2\)，交叉项代入恒等式即得风险公式。
因此，数据可计算的量
称为Stein无偏风险估计（SURE）。它的期望等于固定估计规则的风险，某次取值却可以为负。若根据数据最小化一族SURE，再把被选中规则原来的SURE作为无偏风险估计，通常会产生选择偏差；需要重新对最终规则求导或另作评价，不能直接沿用固定规则的结论。
23.3.3 James–Stein估计及奇点的处理
考虑\(\delta_c(y)=(1-c/\|y\|^2)y\)，其中\(c\)为预先指定常数。\(y=0\)处可定义为零，因为正态分布在单点无质量。修正项\(g_c(y)=-cy/\|y\|^2\)在原点有奇点，不能直接套用上一命题的光滑条件。
奇点下的完整积分论证。设\(d\ge3\)。在原点附近，密度有界，\(\|g_c(y)\|^2\)及各偏导的绝对值都不超过常数乘\(\|y\|^{-2}\)；相应径向积分为\(\int_0^1r^{d-3}dr<\infty\)。远处高斯衰减保证可积。在环域\(\varepsilon<\|y\|<M\)对每个坐标使用分部积分。内球面上的边界积分绝对值不超过常数乘\(\varepsilon^{-1}\varepsilon^{d-1}=\varepsilon^{d-2}\)，因而趋于零；外球面项随\(M\to\infty\)趋于零。其余积分以绝对可积性取极限，Stein恒等式遂对\(g_c\)成立。这里证明的是本节特定奇点函数，并未断言任意不光滑函数都满足同一恒等式。
写\(r^2=\|y\|^2\)，逐项求导给出\(\partial_i g_{c,i}=-c/r^2+2cy_i^2/r^4\)，所以
对\(d\ge3\)及任意\(\theta\in\mathbb R^d\)，
该逆二阶矩有限且严格为正。因此\(0<c<2(d-2)\sigma^2\)时，\(\delta_c\)在每一个参数值的风险都严格小于原估计。系数二次式在\(c=(d-2)\sigma^2\)处最小，得到
代入刚证明的积分恒等式即完成定理证明。最优系数只在上述常数\(c\)族内比较；不能据此宣布James–Stein估计在所有估计量中最优。总风险改善也不保证每一个坐标单独的风险都改善。
23.3.4 两个数值例子
当\(\theta=0\)时，\(U=\|Y\|^2/\sigma^2\sim\chi_d^2\)。用其Gamma密度积分，\(E(U^{-1})=\Gamma(d/2-1)/(2\Gamma(d/2))=1/(d-2)\)。代回风险式，得到\(R(0,\delta_{\mathrm{JS}})=2\sigma^2\)。例如\(d=5,\sigma^2=1\)，原风险为5，JS风险为2；\(d=8\)时原风险为8，JS风险仍为2。这个比较固定在零均值处，不代表风险对所有参数都等于2。
取\(d=5,\sigma^2=1\)，观测\(y=(1,2,0,0,0)\)。平方范数为5，JS系数\(1-3/5=0.4\)，估计为\((0.4,0.8,0,0,0)\)，SURE为\(5-9/5=3.2\)。若真实参数恰为零，该次实际损失为\(0.4^2+0.8^2=0.8\)，而重复抽样风险为2。三个数分别表示一次损失、一次风险估计和损失的期望。
若观测改为\((0.5,0,0,0,0)\)，系数为−11，估计第一坐标为−5.5，SURE为\(5-9/0.25=-31\)。风险非负与无偏风险估计偶尔为负没有矛盾。小范数处的反向估计可以通过下一段的正部规则改善。
23.3.5 正部估计为什么更好
定义\(\delta_+(y)=\max\{0,1-(d-2)\sigma^2/\|y\|^2\}y\)。它与JS只在\(r^2<c=(d-2)\sigma^2\)时不同，那里普通JS系数\(a(r)=1-c/r^2\)为负，正部规则取零。
完整风险比较。给定\(\|Y\|=r>0\)，球面上的条件密度相对于均匀球面测度正比于\(\exp(\theta^\mathsf Ty/\sigma^2)\)。令\(u=\theta^\mathsf Ty\)，利用球面反射\(y\mapsto-y\)，积分\(\int u e^{u/\sigma^2}d\omega\)等于\(\int u\sinh(u/\sigma^2)d\omega\)，非负，故\(E(\theta^\mathsf TY\mid r)\ge0\)。在\(r^2<c\)区域，两规则损失之差为\(a(r)^2r^2-2a(r)\theta^\mathsf TY\)。条件期望严格为正，因为\(a(r)<0\)，第一项严格正，第二项非负。该球内事件在每个正态均值下都有正概率，且前述积分保证风险有限。球外两规则相同，因此\(R(\theta,\delta_+)<R(\theta,\delta_{\mathrm{JS}})\)对所有\(\theta\)成立。
这个证明依据条件期望比较，不能改写成“负系数在每一个观测下都更差”；当\(\theta^\mathsf Ty<0\)时，单次损失差可能有不同符号。正部估计改善JS，也不等于它已经容许。
23.3.6 模型、维数和损失不能省略
\(d=1,2\)时，原点附近的逆二阶矩积分发散，非零\(c\)的上述奇点规则风险无穷；三维阈值有实质意义。取\(d=2\)的标准系数\(c=0\)只得到原估计，不产生改善。若\(\sigma^2\)未知，随意代入一个方差估计会改变风险推导，必须另证条件。
收缩中心可以是预先指定的向量\(b\)。将\(Y-b\)代入本节，得到\(b+[1-c/\|Y-b\|^2](Y-b)\)，平移不改变平方损失，因而同样支配原估计。若中心由同一数据选择，平移后的参数和修正项不再具有这项固定中心论证，需要重新处理导数。对一般已知协方差\(\Sigma\)，白化后使用普通欧氏损失对应原空间的\(\Sigma^{-1}\)加权平方损失，并非原来的欧氏损失。
若有\(n\)个iid的\(N_d(\theta,\sigma^2I_d)\)观测，样本均值协方差为\(\sigma^2I_d/n\)。对它应用本节，将公式中的\(\sigma^2\)替换为\(\sigma^2/n\)，即可在固定\(d\ge3\)时改善样本均值的总风险。这种精确正态结论与第23.4节维数随样本量增长的学习保证有不同的假设。
23.3.7 习题与解答
习题23.3-1 · 逆卡方矩与风险
从\(\chi_d^2\)密度推导\(E(U^{-1})\)，说明为什么要求\(d>2\)。再计算\(d=6,\sigma^2=2,\theta=0\)时原估计和JS的风险。
将密度乘\(u^{-1}\)积分，得到\(2^{-1}\Gamma(d/2-1)/\Gamma(d/2)=1/(d-2)\)。零附近幂为\(u^{d/2-2}\)，可积当且仅当\(d>2\)。因此\(E\|Y\|^{-2}=1/[2(6-2)]=1/8\)，原风险12，JS风险\(12-4^2\cdot2^2/8=4\)。这里方差为2，平方方差为4，不能漏掉风险式中的\(\sigma^4\)。
习题23.3-2 · 小范数下的两个规则
设\(d=4,\sigma^2=1,y=(1,0,0,0)\)。计算JS、正部估计、JS的SURE以及\(\theta=0\)时该次JS损失。
标准系数\(c=d-2=2\)，平方范数为1，收缩因子为−1。因此JS为\((-1,0,0,0)\)，正部估计为零，JS的SURE为\(4-2^2/1=0\)，该次损失为1。零均值下JS的重复抽样风险仍为2；SURE恰为零不说明估计误差为零，也不说明规则的风险为零。
习题23.3-3 · 多个观测的尺度
设\(n=20,d=5,\sigma^2=4\)，有独立正态向量样本。写出对样本均值的JS规则，并给出\(\theta=0\)时原风险和JS风险。
样本均值的坐标方差为\(4/20=0.2\)，所以规则为\([1-0.6/\|\bar X\|^2]\bar X\)，其中\(0.6=(5-2)\cdot0.2\)。原风险为\(5\cdot0.2=1\)，JS在零均值处风险为\(2\cdot0.2=0.4\)。本题同时使用样本独立、各向同性正态和已知方差；单有协方差相同而无正态性，不足以推出这些精确风险。
习题23.3-4 · 白化后的目标
设\(Y\sim N_3(\theta,\Sigma)\)，\(\Sigma=\operatorname{diag}(1,4,9)\)。把\(Z=\Sigma^{-1/2}Y\)中估计的欧氏平方损失写回原坐标。是否可直接声称JS改善原坐标欧氏平方风险？
若原坐标估计为\(a\)，白化空间损失为\(\|\Sigma^{-1/2}(a-\theta)\|^2=(a_1-\theta_1)^2+(a_2-\theta_2)^2/4+(a_3-\theta_3)^2/9\)。本节定理保证的是这项加权损失的风险改善。它不同于三项等权平方误差之和，所以原欧氏风险的改善不能由白化直接推出；必须针对该损失重新计算。
关键术语
同时估计：对多维参数采用一个联合损失；收缩估计：将观测估计向指定中心调整；Stein恒等式：正态分部积分得到的误差与导数关系；散度：向量函数Jacobian的迹；SURE：固定规则风险的无偏数据估计；James–Stein估计：按观测平方范数自适应收缩的正态均值估计；正部估计：把负收缩系数截断为零；容许性：不存在风险处处不大且至少一处更小的竞争规则。
参考文献
- Will Fithian. The James–Stein Estimator, Berkeley Stat 210A, 2025。正态模型、Stein恒等式、SURE及同时估计的风险比较；本节另给奇点积分与正部风险比较的论证。
- Lester Mackey. STATS 300A Lecture 11: Admissibility and Simultaneous Estimation, Stanford, 2015年10月27日，§11.4。涵盖JS与正部估计，并说明进一步改善不等于已达容许性。