主要先修：14.1 熵、相对熵与编码、18.2 Neyman–Pearson引理、23.1 容许性、极小极大与风险比较。
接23.1的风险目标，结合18.2的检验与14.1的信息距离，将分类困难归约为估计下界。23.4的上界证明不把本节当作必修前提。 查看全书依赖图与分支路线。
23.2.1 从方法的误差到问题的难度
某个估计量的风险给出极小极大风险的上界：至少存在一种方法达到该误差。下界则必须适用于所有允许的方法。本节选择少量彼此接近的观测分布，将估计问题归约为区分这些分布的检验问题。如果数据难以分辨两个不同目标值，就不可能在两处都把目标估得过于准确。
以下样本空间为标准Borel空间，参数目标位于固定维欧氏空间，损失为欧氏距离的平方。所比较的\(P_j\)表示整份数据的分布；有\(n\)个iid观测时，会明确写成单个观测规律的乘积\(P_\theta^{\otimes n}\)。参数距离和分布距离是两种对象，不能互相代入。
取共同支配测度\(\mu=P+Q\)，令\(p=dP/d\mu,q=dQ/d\mu\)。总变差距离为
若\(P\ll Q\)，相对熵为\(D(P\|Q)=\int p\log(p/q)d\mu\)，否则取无穷。采用自然对数，单位与14.1节的比特表示不同。总变差在0与1之间且对称；相对熵一般不对称，也不是满足三角不等式的距离。
23.2.2 检验错误与总变差
在\(P_0\)与\(P_1\)之间作二元判断，令\(\phi(x)\in[0,1]\)为给定数据后选择模型1的概率。则
完整证明。写两密度为\(p_0,p_1\)。错误和为\(\int[\phi p_0+(1-\phi)p_1]d\mu\)。逐点最小时，\(p_1>p_0\)处选\(\phi=1\)，\(p_1<p_0\)处选0，相等处任选；积分的最小值就是\(\int\min(p_0,p_1)d\mu\)。代入总变差恒等式即得。该证明同时允许相互奇异的部分，不需要两个密度处处为正。
若事先给两个模型相同权重，最小平均误判概率是上述值的一半。总变差越小，最优检验的误判下界越大。这里的“最优”相对于给定的两个简单假设及等权比较；它不声称同一检验对所有备择都最强。
模型含两个目标\(\theta_0,\theta_1\)，其欧氏距离为\(\Delta>0\)。对任何可测估计量\(\widehat\theta\)，
完整归约。从估计量构造检验：选择离估计值最近的候选目标，距离相同时按固定规则处理。若在真实目标\(\theta_j\)下选择了另一个目标，三角不等式与最近点条件给出\(\Delta\le2\|\widehat\theta-\theta_j\|\)。于是两处平方风险之和至少为\(\Delta^2/4\)乘以该检验的错误和；最大风险至少是两风险平均。命题23.2-1再给错误和下界，得到\(\Delta^2/8\)的常数。随机化估计可连同独立随机种子视为增广数据，结论仍成立。
23.2.3 Pinsker界与独立样本的信息累积
对任意两个概率分布，\(\operatorname{TV}(P,Q)\le\sqrt{D(P\|Q)/2}\)。若相对熵为无穷，该上界没有信息；总变差本身仍可以计算。
证明。取\(A=\{p\ge q\}\)，令\(a=P(A),b=Q(A)\)，则\(a-b=\operatorname{TV}(P,Q)\)。分别在\(A\)及补集应用对数和不等式（它可由条件化后的Jensen不等式得到），有
固定\(0<b<1\)，关于\(a\)的函数在\(a=b\)处值和一阶导数都为零，二阶导数为\(1/[a(1-a)]\ge4\)。积分二阶导数得\(d(a,b)\ge2(a-b)^2\)。端点按极限理解；若绝对连续性破坏，相对熵为无穷，结论仍成立。代入\(a-b\)便得到命题。
当单个观测相对熵有限，iid乘积密度的对数比为逐项和，取期望得到
总变差没有同样的线性可加性。独立重复增加可区分的信息；为了证明随\(n\)变化的估计误差下界，通常选择也随\(n\)变近的候选参数，使整份数据的相对熵保持有界。
设\(X_i\) iid服从\(N(\theta,\sigma^2)\)，\(\theta\in\mathbb R\)、\(\sigma>0\)已知。取\(\theta_0=0,\theta_1=\sigma/\sqrt n\)，目标距离\(\Delta=\sigma/\sqrt n\)。正态对数密度相减后取期望，给单个观测相对熵\(\Delta^2/(2\sigma^2)\)，整份数据相对熵为\(1/2\)。Pinsker给总变差不超过\(1/2\)，因此
样本均值的风险为\(\sigma^2/n\)，所以平方误差的极小极大速率为\(n^{-1}\)，均方根误差的速率为\(n^{-1/2}\)。这没有求出最优常数；23.1节的最不利先验序列可给该模型的精确值。
还可算更强的两点常数。标准化样本均值在两个候选下分别服从\(N(0,1)\)、\(N(1,1)\)，最优检验阈值为\(1/2\)，错误和为\(2\Phi(-1/2)\approx0.617075\)。取\(\sigma=2,n=100\)，Pinsker风险下界为0.0025，精确重叠给0.00308538，样本均值风险为0.04。下界适用于所有估计方法，但不会声称这两个较粗常数已达到。
23.2.4 多候选模型与Fano不等式
高维或函数估计常需要许多候选点。设\(J\)均匀分布于\(\{1,\ldots,M\}\)，\(M\ge2\)，给定\(J=j\)后整份数据\(Z\)服从\(P_j\)。令\(\overline P=M^{-1}\sum_jP_j\)，互信息使用自然对数：
任何分类规则\(\psi(Z)\)的平均误判概率\(p_e=P(\psi(Z)\ne J)\)满足\(p_e\ge1-[I(J;Z)+\log2]/\log M\)。若候选目标最小距离为\(\Delta\)，则
熵与归约证明。令错误指示量\(E=\mathbf1_{\{\psi(Z)\ne J\}}\)。给定\(J,Z\)以后\(E\)确定；给定\(E=0,Z\)以后\(J\)也确定，而\(E=1\)时最多有\(M-1\)个可能标签。熵链式法则因此给
又有\(H(J)=\log M\)及\(I=H(J)-H(J\mid Z)\)，移项即得Fano。把估计量转为最近候选分类规则，误判意味着估计距离至少\(\Delta/2\)，所以平均平方风险至少\(\Delta^2p_e/4\)；最大风险至少等于平均风险。负的概率下界取零，得到所写结论。独立随机化可加进\(Z\)，其本身不携带标签信息。
互信息可以用参考分布\(Q\)上界。若相关相对熵有限，对数比拆分直接给出
因此只需找一个使候选分布都不太远的参考分布。候选数越多，\(\log M\)越大，但候选点太密又会减小\(\Delta\)；有效下界须同时控制这两项。
23.2.5 四点构造与参数依赖支持
取\(n\)个iid\(N_2(\theta,\sigma^2I_2)\)观测，候选均值为\((\pm h,\pm h)\)四种组合，\(h=\sigma/(2\sqrt n)\)。最小距离为\(2h\)。参考分布取均值零的同协方差乘积模型；每个候选到参考的相对熵是\(n\|\theta_j\|^2/(2\sigma^2)=nh^2/\sigma^2=1/4\)，故\(I\le1/4\)。Fano给
第二式把误判下界乘以\(h^2\)，不是直接把误判概率当作平方风险。取\(\sigma=1,n=100\)，\(h=0.05\)，下界约0.000799158。样本均值在整个二维模型上的风险为\(2/n=0.02\)，两个界同为\(n^{-1}\)尺度，常数仍有差距。四个候选点的分离和信息均能逐项算出，不依赖某个已选估计量的正态极限。
相对熵无穷时，并非所有检验下界都失效。考虑已知区间长度为一的均匀位置模型\(U(\theta,\theta+1)\)，估计位置参数\(\theta\in\mathbb R\)。例如\(P_0=U(0,1)\)、\(P_1=U(\delta,1+\delta)\)，\(0<\delta<1\)，支持错位使相对熵无穷；但两单个观测密度的重叠为\(1-\delta\)。iid乘积在两个立方体的交集上密度同为1，重叠恰为\((1-\delta)^n\)。Le Cam仍给平方风险下界\(\delta^2(1-\delta)^n/8\)。取\(\delta=1/n\)时是\(n^{-2}\)尺度，说明非正则模型可有不同速率。具体上界还需要构造相应估计量，下界本身不能证明达到该速度。
23.2.6 习题与解答
习题23.2-1 · 完全相同的观测分布
两个实数目标相距\(\Delta\)，但整份数据分布完全相同。证明在这两个目标组成的模型中，平方损失极小极大风险恰为\(\Delta^2/4\)。
设中点为\(m\)，同一个观测分布记为\(Q\)。任意估计规则的平均两点风险为\(E_Q(\widehat\theta-m)^2+\Delta^2/4\)，由平方展开可得，故最大风险至少为\(\Delta^2/4\)。恒报中点的规则在两处风险都恰为这个数，达到下界。两点Le Cam界在TV为0时只给\(\Delta^2/8\)，这并非矛盾，而是一般归约的常数没有在此特殊模型中达到最强值。
习题23.2-2 · 分布距离与风险的单位
若整份数据的\(D(P_0\|P_1)\le0.08\)，目标相距0.5，求由Pinsker得到的平均误判下界及平方风险下界。
Pinsker给\(\operatorname{TV}\le\sqrt{0.08/2}=0.2\)。平均最优误判概率至少为\((1-0.2)/2=0.4\)。估计平方风险下界则为\(0.5^2(1-0.2)/8=0.025\)。误判概率无量纲，平方风险还乘以目标距离的平方，因此不能直接将0.4报告为平方风险；这些界也没有承诺所有模型都会恰好取等号。
习题23.2-3 · Fano的候选数量
设有16个候选目标，最小距离\(\Delta\)，数据与标签互信息不超过\(\log2\)。求平均误判概率与最大平方风险下界。
因为\(\log16=4\log2\)，Fano给\(p_e\ge1-(\log2+\log2)/(4\log2)=1/2\)。最近点归约使平方风险至少为\((\Delta/2)^2p_e\)，于是最大风险至少为\(\Delta^2/8\)。所需互信息是整份数据携带的标签信息；如果输入的是单个观测的信息，必须先合法处理样本联合分布，不能把二者混用。
习题23.2-4 · 固定间距为什么可能给无用界？
在例1中，将候选均值距离固定为\(\Delta>0\)，只使用Pinsker。解释为何大样本下该下界可能为零，并给出保持整份数据信息有界的距离选择。
整份样本相对熵为\(n\Delta^2/(2\sigma^2)\)，Pinsker给的总变差上界随\(\sqrt n\)增大，最终超过1。用它估计\(1-\operatorname{TV}\)只得到非正数，风险下界取零。这说明所选工具对已容易分辨的固定两点不再有力，并不说明估计无误差。改取\(\Delta_n=c\sigma/\sqrt n\)，相对熵变为\(c^2/2\)；例如\(c=1\)给正的\(n^{-1}\)平方风险下界。候选仍须属于每个样本量对应的参数空间。
关键术语
- 总变差
- 两个概率分布对事件概率的最大差。
- 相对熵
- 平均对数密度比，需明确绝对连续性与对数底。
- Le Cam两点法
- 用二元检验难度下界控制任何估计规则的风险。
- 信息累积
- 独立乘积模型的相对熵按样本数相加。
- 分离构造
- 选取目标间具有明确最小距离的候选集合。
- Fano不等式
- 用标签熵与数据互信息下界多元分类错误。
- 参考分布
- 用于上界候选标签互信息的共同比较规律。
- 极小极大速率
- 相匹配的风险上下界随样本量变化的数量级。
参考文献
- Balakrishnan, S. (2020). CMU 36-709，Lecture 15，Le Cam’s Two-point Method Examples：检验归约、信息距离、正态与参数依赖支持的例子。本节明确使用欧氏距离及平方损失，并独立推导常数。
- Tibshirani, R. J., & Wasserman, L. CMU 10/36-702，Minimax Theory：风险上下界、Le Cam与Fano。本节的四点例、Pinsker二元化证明及风险单位辨析按本教程展开。