17.5 稳健估计与估计方程 · 概率论基础教程

少量异常观测可能大幅改变均值，却未必同样改变中位数或截断得分的位置估计。稳健性需要说明目标、污染方式和尺度。本节从污染分布导出均值与中位数的影响函数，构造Huber估计并给出有限样本求解，证明固定尺度下的一致性和渐近正态条件，再区分局部有界影响与整体替换崩溃点。

先修与阅读位置

主要先修：7.5 条件期望与预测、10.3 弱收敛、紧性与连续映射、10.5 大数定律的证明与适用边界、10.6 中心极限定理及其推广、17.1 偏差、风险与一致性。

稳健估计是17.1之后的专题支线。固定尺度Huber的一致性与CLT直接使用10.3、10.5和10.6；19.2随后将估计方程推广为一般理论。查看全书依赖图与分支路线。

17.5.1 污染模型与估计目标

偏差与风险通常在指定的分布下计算。若观测机制含录入错误、极端测量或少量来自其他来源的数据，还需考察方法在邻近分布下的行为。一个常见模型是

\[P_\varepsilon=(1-\varepsilon)P+\varepsilon Q,\qquad 0\le\varepsilon<1,\]

(17.5-1)

其中\(P\)为基准分布，\(Q\)为污染分布。若希望恢复基准位置，混合总体的均值可能已经不是原来的目标。没有对基准族、污染比例或目标作限制，就不能保证从任意混合分布唯一分离出基准位置。

用\(T(P)\)表示分布的目标泛函，例如可积分布的均值、唯一中位数或某个位置方程的根。是否稳健必须相对于这个目标和污染类别判断；对偏斜分布，均值、中位数与Huber位置一般是不同的量。

定义17.5.1 影响函数

对固定的有限点\(x\)，若单侧极限存在，定义

\[\operatorname{IF}(x;T,P)=\lim_{\varepsilon\downarrow0}\frac{T((1-\varepsilon)P+\varepsilon\delta_x)-T(P)}{\varepsilon}.\]

(17.5-2)

它记录极小比例点污染的首阶作用。令\(\sup_x|\operatorname{IF}(x;T,P)|\)为有限，称影响函数有界；该局部导数不自动给出固定污染比例下的误差保证。

17.5.2 均值与正密度中位数的影响函数

若\(E_P|X|<\infty\)且均值为\(\mu\)，污染后的均值准确等于\((1-\varepsilon)\mu+\varepsilon x\)，因此均值的影响函数为\(x-\mu\)，随污染点的距离无界。

命题17.5.2 中位数的局部污染导数

设CDF\(F\)的中位数\(m=F^{-1}(1/2)\)唯一，且在\(m\)附近连续可微，\(F(m)=1/2\)、\(0<f(m)=F'(m)<\infty\)。则

\[\operatorname{IF}(x;\operatorname{Med},P)=\frac{\operatorname{sgn}(x-m)}{2f(m)},\qquad\operatorname{sgn}(0)=0.\]

(17.5-3)

证明。取\(x>m\)。污染比例足够小时，新中位数\(m_\varepsilon\)仍在\(m\)附近且小于\(x\)；这由\(m\)两侧的严格CDF越过条件及小污染得到。在这个邻域内，点质量尚未进入CDF，所以

\[F(m_\varepsilon)=\frac1{2(1-\varepsilon)}=\frac12+\frac\varepsilon2+O(\varepsilon^2).\]

(17.5-4)

局部正导数使逆映射可微，得\(m_\varepsilon-m=\varepsilon/[2f(m)]+o(\varepsilon)\)。若\(x<m\)，邻域内的污染CDF多出\(\varepsilon\)，于是\(F(m_\varepsilon)=(1/2-\varepsilon)/(1-\varepsilon)=1/2-\varepsilon/2+O(\varepsilon^2)\)，导数为负。若\(x=m\)，污染后该点的CDF跳跃始终跨过\(1/2\)，中位数保持\(m\)，导数为零。证毕。

例17.5.1 百分之一远端污染

基准为\(N(0,1)\)，加入\(1\%\)位于\(100\)的质量。混合均值为\(1\)。中位数在点质量之前，满足\(0.99\Phi(m_\varepsilon)=1/2\)，故为\(\Phi^{-1}(50/99)\approx0.01266\)。影响函数的一阶预测为\(0.01\sqrt{\pi/2}\approx0.01253\)，接近准确值，但两者不相同。这里没有模拟数据；正密度是中位数导数有限的关键条件。

17.5.3 M估计、Z估计与Huber阈值

定义17.5.3 损失最小化与估计方程

最小化样本准则\(\sum_i\rho(X_i,\theta)\)得到M估计；求解\(\sum_i\psi(X_i,\theta)=0\)得到Z估计。若损失可微，取其参数导数为\(\psi\)可把内部最优条件写成方程，但任意方程根未必是全局最小值。

对位置问题，固定已知尺度\(s>0\)及无量纲阈值\(c>0\)。Huber损失及其残差导数为

\[\rho_c(u)=\begin{cases}u^2/2,&|u|\le c,\\c|u|-c^2/2,&|u|>c,\end{cases}\qquad\psi_c(u)=\max(-c,\min(u,c)).\]

(17.5-5)

估计规则最小化\(\sum_i\rho_c((X_i-\theta)/s)\)，等价于解

\[G_n(\theta)=\frac1n\sum_i\psi_c((X_i-\theta)/s)=0.\]

(17.5-6)

原数据单位下的截断距离是\(cs\)。这项损失凸、可微，方程函数连续且不增，在两端分别趋于\(c\)与\(-c\)，故有限样本总有根；根集可能是区间，以下约定取根区间中点。大残差的得分被截断为\(\pm c\)，并没有直接删除观测。

例17.5.2 一次异常观测与完整求解

取\(s=c=1\)，数据由\((0,1,2,3,4)\)改为\((0,1,2,3,100)\)。均值从\(2\)变为\(21.2\)，中位数仍为\(2\)。在\(\theta=2\)处，Huber得分依次为\((-1,-1,0,1,1)\)，和为零。它是唯一根：在\(1<\theta<3\)内，得分和为\(4-2\theta\)；域外由单调性保持严格正或严格负。故Huber估计也为\(2\)，而非通过观察数据后另设阈值。

图17.5-1 例2的精确计算。第五个观测为\(r\ge4\)时，均值为\((6+r)/5\)；中位数及\(s=c=1\)的Huber根均为\(2\)。平行的水平标记表示两种规则结果重合，曲线未使用随机模拟。

17.5.4 固定尺度下的一致性与渐近正态性

总体目标定义为\(G(\theta)=E_P\psi_c((X-\theta)/s)\)的根\(\theta_0\)。若\(P\)关于\(\theta_0\)对称，奇得分使\(G(\theta_0)=0\)；不对称时不能直接把根叫作总体均值。

定理17.5.4 固定尺度Huber位置的极限

设观测iid，\(s,c\)固定为正，\(G(\theta_0)=0\)，并有

\[a=P(|X-\theta_0|<cs)>0,\qquad P(X=\theta_0\pm cs)=0,\qquad b=E\psi_c((X-\theta_0)/s)^2.\]

(17.5-7)

取样本根区间中点\(\widehat\theta_n\)，则它强一致，且

\[\sqrt n(\widehat\theta_n-\theta_0)\Rightarrow N(0,s^2b/a^2).\]

(17.5-8)

证明。截断点无原子允许控制收敛求导，给\(G'(\theta_0)=-a/s<0\)。故在足够近的两侧点，\(G\)分别严格为正和负。对每对固定点，有界得分的SLLN使样本符号最终相同；单调性把全部样本根夹在二者之间。对趋于零的可数邻域重复这一论证，得到强一致，也证明总体根唯一。

接着使用截断函数的绝对连续性，得到准确积分式

\[G_n(\widehat\theta_n)-G_n(\theta_0)=-\frac1s\int_{\theta_0}^{\widehat\theta_n}\frac1n\sum_i\mathbf1_{\{|X_i-t|<cs\}}\,dt.\]

(17.5-9)

积分中的经验比例在\(t\)接近\(\theta_0\)时趋于\(a\)：两个区间指示量之差被\(\mathbf1_{\{||X-\theta_0|-cs|\le\delta\}}\)控制；先对固定\(\delta\)用SLLN，再令\(\delta\downarrow0\)，无边界原子使其期望趋零。结合一致性，区间上的平均比例\(a_n\to a\)几乎必然。若估计恰等于\(\theta_0\)，用中心经验比例定义\(a_n\)，等式仍成立。在几乎每条路径上，充分大的\(n\)使\(a_n>0\)，此时

\[\sqrt n(\widehat\theta_n-\theta_0)=\frac{s}{a_n}\frac1{\sqrt n}\sum_i\psi_c((X_i-\theta_0)/s).\]

(17.5-10)

得分有界、均值零，故其二阶矩有限；调用CLT及Slutsky得结论。证毕。

这项证明针对固定尺度、正局部导数的单变量位置方程。估计尺度、一般损失、多重总体根或回归设计需要新的条件；19.2节给出统一收敛与夹心协方差框架。中位数的样本极限另需正密度与分位数理论，见19.5节。

17.5.5 Huber影响函数与尺度因子

在定理条件下，以相同尺度定义总体根。点污染比例趋零时，其根\(\theta_\varepsilon\)趋于\(\theta_0\)，满足\((1-\varepsilon)G(\theta_\varepsilon)+\varepsilon\psi_c((x-\theta_\varepsilon)/s)=0\)。\(G'(\theta_0)\ne0\)及有界得分先给出\(\theta_\varepsilon-\theta_0=O(\varepsilon)\)，再展开并除以\(\varepsilon\)：

\[\operatorname{IF}(x;T_H,P)=\frac{s}{a}\psi_c((x-\theta_0)/s),\qquad\sup_x|\operatorname{IF}(x;T_H,P)|=\frac{sc}{a}.\]

(17.5-11)

例17.5.3 正态基准下的方差与敏感度

取\(P=N(0,1),s=c=1\)。记\(\phi,\Phi\)为标准正态密度和CDF。积分给出\(a=2\Phi(1)-1\approx0.682689\)及

\[b=E\min(Z^2,1)=2\Phi(1)-1-2\phi(1)+2[1-\Phi(1)]\approx0.516059.\]

(17.5-12)

解与比较。利用\(\phi'(z)=-z\phi(z)\)分部积分可得\(\int_{-1}^1z^2\phi(z)dz=a-2\phi(1)\)，再加尾部概率即得上式。因此Huber渐近方差系数为\(b/a^2\approx1.10727\)，均值为\(1\)，正密度中位数为\(1/[4\phi(0)^2]=\pi/2\approx1.57080\)。相应影响函数上界为\(1/a\approx1.46479\)与\(\sqrt{\pi/2}\approx1.25331\)，均值则无界。这些数比较的是同一正态基准下的局部敏感度与渐近方差；它们不决定任意污染分布下的风险排名。

图17.5-2 按\(x\)、\(\operatorname{sgn}(x)\sqrt{\pi/2}\)和\(\psi_1(x)/(2\Phi(1)-1)\)绘制，端点取值按公式计算。中位数在零点的污染导数为零，空心点表示两个单侧分支不包含零点；这里画的是总体局部导数，不是有限样本删点后的数值变化。

17.5.6 有界影响与替换崩溃点

定义17.5.5 有限样本替换崩溃点

对固定样本\(x\)和实值位置规则\(T_n\)，取最小的\(m/n\)，使替换至多\(m\)个观测后\(|T_n(y)-T_n(x)|\)的上确界无穷，称其替换崩溃点。这里采用“最小导致无界的比例”约定。

均值替换一个点就可无界，故为\(1/n\)。奇数\(n=2k+1\)的中位数，在至多\(k\)点替换后仍被原样本的最小和最大值夹住；替换\(k+1\)点即可令它无界，故崩溃点为\((k+1)/(2k+1)\)，极限为\(1/2\)。

影响函数只取\(\varepsilon\downarrow0\)的导数，崩溃点则固定污染比例并允许污染值任意远。尺度选择能改变后者。把Huber中的尺度改成普通样本标准差\(s_n=[n^{-1}\sum(X_i-\bar X_n)^2]^{1/2}\)，考虑将\((-2,-1,0,1,2)\)末点替换成\(R\to\infty\)。此时\(s_n/R\to2/5\)，取\(c=1\)，充分大的\(R\)下唯一根为

\[\widehat\theta_R=\frac{-2+s_n}{4},\qquad \frac{\widehat\theta_R}{R}\longrightarrow\frac1{10}.\]

(17.5-13)

四个有限观测都进入二次区，远点得分为\(1\)，代入方程即可核对该根。所以一个替换已使估计无界。即使在对称正态基准下，尺度的首阶导数通过\(E[Z\mathbf1_{|Z|<c}]=0\)在位置方程中消去、位置影响函数仍有界，这个有限比例反例也不改变。使用稳健尺度须同时说明尺度规则、零尺度处理及联合方程条件，不能只给一个截断得分。

17.5.7 习题与完整解答

习题17.5-1 污染恰在中位数处

基准为\(N(0,4)\)。求中位数对污染点\(x=10\)和\(x=0\)的影响函数，解释为何不能在零点照抄只含指示函数的单侧公式。

中心密度为\(1/(2\sqrt{2\pi})\)，所以正污染点的导数为\(\sqrt{2\pi}\approx2.50663\)。污染位于\(0\)时，CDF跳跃跨过一半，新中位数准确保持零，导数也是零。写成\((1/2-\mathbf1_{x\le0})/f(0)\)会在零点给出错误负值；这种表达式仅在\(P\)几乎处处的等价类意义下可用，点污染的逐点导数须单独处理。

习题17.5-2 阈值与测量单位

取\(c=s=1\)，数据为\((0,0,0,1,100)\)，求Huber根。所有观测乘以\(2\)后，尺度也乘以\(2\)会得到什么？若错误地维持尺度为\(1\)呢？

原根为\(1/2\)：四个小观测均未截断，得分和为\(1-4\theta+1\)，在该根为零。数据与尺度同时加倍时标准化残差不变，根变为\(1\)。若加倍数据却用\(s=1\)，在\(0<\theta<1\)内两大点的得分均为\(1\)，另三点为\(-\theta\)，根为\(2/3\)。两种方法实际使用了不同原单位阈值，不能把差异解释为同一规则的单位变换。

习题17.5-3 根区间与总体识别

数据为\((0,10)\)，取\(s=c=1\)。求全部Huber根。若总体为\((\delta_0+\delta_{10})/2\)，能否使用定理17.5.4？

在\(1\le\theta\le9\)中，两得分分别为\(-1,+1\)，全部为根；区间外得分和严格正或负。因此选中点规则得到\(5\)，但单独“解方程”没有指定唯一值。总体方程同样在该区间为零，取\(\theta_0=5\)时\(a=P(|X-5|<1)=0\)。正局部导数条件失败，不能套该定理或其渐近方差公式。

习题17.5-4 五个观测的崩溃比例

对五个有限观测，按本节定义计算均值与中位数的替换崩溃点，并说明固定\(s,c>0\)的Huber根在至多两点替换时为何仍有界。

均值只需替换一点，崩溃点为\(1/5\)。中位数至少保留三个原点时仍在原样本范围内，替换三个点到共同的\(R\to\infty\)可使中位数等于\(R\)，故为\(3/5\)。固定尺度Huber若保留三个点，位置高于这三个点最大值加\(cs\)时，至少三个得分为\(-c\)，其余两个最多贡献\(2c\)，总和严格负；下界同理。所以全部根被有限区间夹住。这个论证要求阈值固定，不能用于式(17.5-13)中随远点膨胀的普通样本尺度。

关键术语

污染模型：将基准分布与其他观测来源混合。
目标泛函：给每个允许分布指定要估计的属性。
影响函数：极小点污染引起的目标一阶变化。
M估计：最小化样本损失得到的估计。
Z估计：由样本估计方程的根定义的估计。
Huber得分：对标准化残差截断的有界函数。
尺度：残差标准化所用的已知或估计单位。
替换崩溃点：让有限样本估计无界所需的最小替换比例。

参考文献

Stark, P. B. (2010). Berkeley Statistics 240, Part 9: Robustness and Related Topics。官方课程讲义：污染、影响函数、崩溃点、位置估计和尺度的不同作用。本节对中位数及固定尺度Huber的证明在正文展开。
Hampel, F. (2001). Robust Statistics: A Brief Introduction and Overview, ETH Zürich Research Report No.94。作者与大学公开报告：局部敏感度、整体崩溃与稳健方法的关系。此处的有限样本替换比例采用定义17.5.5的约定。