主要先修：10.1 随机变量的收敛方式、16.1 统计模型、似然与可识别性。
先建立损失、风险与一致性的评价标准，再读17.2的估计构造。17.3、17.4与17.5从这里分别进入无偏最优、信息界和稳健性。 查看全书依赖图与分支路线。
17.1.1 估计量、损失与风险
设统计模型为 \(\{P_\theta:\theta\in\Theta\}\)，整份数据记为 \(X\)，目标是有限实数 \(g(\theta)\)。估计量 \(\delta(X)\) 是不含未知参数的可测样本函数；观测为 \(x\) 后，\(\delta(x)\) 是一次确定的估计值。评价时先固定参数，再按 \(P_\theta\) 对可能样本求平均。下文的期望下标总指出使用哪一个模型分布。
损失函数 \(L(\theta,a)\ge0\) 衡量在真参数为 \(\theta\) 时采取估计值 \(a\) 的代价；估计量的风险函数是
非负可测损失总可定义期望，但其值允许为无穷。平方损失 \(L(\theta,a)=(a-g(\theta))^2\) 下，风险称为均方误差，记作 \(\operatorname{MSE}_\theta(\delta)\)；绝对损失和不对称损失则评价不同的误差代价。
风险是一族随参数变化的数值，通常不能从一次观测计算出其真实值。风险曲线交叉时，应说明是在全参数空间、指定子集、某个先验平均，还是最坏参数下比较。只报“某估计量风险更小”而不说明这些条件，信息并不完整；风险的决策理论比较见第23章。
17.1.2 偏差方差分解及矩条件
若 \(E_\theta|\delta|<\infty\)，定义 \(b_\theta(\delta)=E_\theta\delta-g(\theta)\)。如果对每个 \(\theta\) 都有 \(b_\theta=0\)，则称估计量对 \(g\) 无偏。仅在一个参数值处偏差为零，不足以称为整个模型的无偏估计量。
固定 \(\theta\)，若 \(E_\theta\delta^2<\infty\)，则偏差和方差均有限，且
令 \(m=E_\theta\delta\)。平方可积保证 \(m\) 有限，并可将交叉项取期望。写成 \(\delta-g=(\delta-m)+(m-g)\)，展开后得到
中间项为零，第一项为方差，最后一项为偏差平方。这也说明该分解以抽样期望为中心，不能把一次观测的误差拆成可观测的“偏差加随机误差”。
因为 \(g(\theta)\) 为有限常数，有限平方风险与 \(E_\theta\delta^2<\infty\) 等价，可分别用 \((a-b)^2\le2a^2+2b^2\) 验证。若仅有一阶矩而没有二阶矩，偏差仍可存在，但方差和均方误差可以无穷；若连绝对一阶矩都不存在，则不能用对称性宣称无偏。例如标准柯西变量没有期望。向量估计在各分量平方可积时，对欧氏平方损失有类似式子：风险等于协方差矩阵的迹加偏差向量的平方范数。
17.1.3 样本均值与标准误
设 \(X_1,\ldots,X_n\) 独立同分布，\(E|X_1|<\infty\)、\(EX_1=\mu\)。线性期望给出 \(E\bar X_n=\mu\)，故样本均值无偏。如果进一步假设 \(EX_1^2<\infty\)、方差为 \(\sigma^2\)，独立性使全部交叉协方差为零，所以
这里的标准误（standard error）是估计量抽样分布的标准差。推导没有使用正态性或中心极限定理；正态近似属于计算尾概率的另一层问题。若样本相关，均值方差应增加 \(2\sum_{i<j}\operatorname{Cov}(X_i,X_j)/n^2\)，不能直接沿用上述标准误。
例如总体服从率为2的指数分布，则均值 \(1/2\)、方差 \(1/4\)。\(n=4\) 的样本均值均方误差为 \(1/16\)、标准误为 \(1/4\)；\(n=25\) 时分别为 \(1/100\)、\(1/10\)。这两组结果均为有限样本精确值。
总体标准差 \(\sigma\) 描述单个观测的变化，均值标准误描述多次抽样所得均值的变化。若 \(\sigma\) 未知，\(n\ge2\) 时常用 \(S/\sqrt n\) 估计标准误，其中 \(S^2=\sum_i(X_i-\bar X_n)^2/(n-1)\)。例如观测值 \(0.1,0.4,0.6,0.9\) 得 \(\bar x=0.5\)、\(s^2=0.34/3\)，样本标准差约0.33665，估计标准误约0.16833。它与指数模型下真实标准误0.25不同，因为 \(S\) 自身也有抽样误差；\(S^2\) 无偏并不意味着 \(S\) 或 \(S/\sqrt n\) 无偏。
17.1.4 收缩估计的风险曲线
设 \(X_i\) 独立服从 \(N(\mu,\sigma^2)\)，方差 \(\sigma^2>0\) 已知，\(\mu\in\mathbb R\)。取事先固定的系数 \(0\le a\le1\)，估计量为 \(\delta_a=a\bar X_n\)。由线性期望、方差和式(17.1-2)，
固定 \(n=4\)、\(\sigma^2=1\)、\(a=1/2\)，无收缩均值的风险恒为 \(1/4\)，收缩风险则为 \(1/16+\mu^2/4\)。二者比较得到：\(|\mu|<\sqrt3/2\) 时收缩更好，等号处风险相等，外侧均值更好。取 \(\mu=0,1,2\)，收缩风险分别为0.0625、0.3125、1.0625。减少方差的收益只有0.1875，偏差平方却随真实均值增大。
对一般 \(v=\sigma^2/n\)，对 \(a\) 求导得到逐参数风险最优系数 \(a_*(\mu)=\mu^2/(\mu^2+v)\)。它依赖未知均值，不能作为可直接实施的估计规则；若改成由数据选择的系数，其风险需要重新计算，不能仍把系数当常数。收缩方法的合理性需结合模型、参数范围或平均风险说明。
17.1.5 一致性与均方一致性
估计量序列 \(\delta_n\) 对 \(g(\theta)\) 一致，是指对每个固定参数和任意 \(\varepsilon>0\)，\(P_\theta(|\delta_n-g(\theta)|>\varepsilon)\to0\)。若在一个共同序列概率空间上几乎必然收敛，则称强一致。均方一致要求 \(E_\theta(\delta_n-g(\theta))^2\to0\)。这些是序列的极限性质，无偏性则可对每个有限样本量单独判断。
均方一致蕴含一致。在每个 \(\delta_n\) 平方可积时，均方一致等价于偏差和方差均趋于零。反方向若仅知一致，还须控制罕见的大误差；一个充分条件是存在 \(\eta>0\)，使 \(\sup_nE_\theta|\delta_n-g(\theta)|^{2+\eta}<\infty\)。
前一结论由 Markov 不等式给出 \(P_\theta(|\delta_n-g|>\varepsilon)\le\operatorname{MSE}_\theta(\delta_n)/\varepsilon^2\)。偏差和方差结论由式(17.1-2)中两项非负立即得到。为证最后一项，记误差绝对值为 \(A_n\)、高阶矩上界为 \(C\)。对任意 \(0<\varepsilon<K\)，分别处理小、中、大误差，得到
固定 \(K,\varepsilon\)，一致性使中项趋零，再令 \(K\to\infty\)、\(\varepsilon\downarrow0\)，即得均方一致。高阶矩条件保证误差平方一致可积；一致可积的一般收敛结论见9.5节。
样本均值在有限二阶矩下由式(17.1-4)均方一致；仅有绝对一阶矩时，也可由强大数定律得到强一致，却不能承诺有限平方风险。对收缩例，固定 \(a=1/2\) 会收敛到 \(\mu/2\)，因此在 \(\mu\ne0\) 时不一致。若改取 \(a_n=n/(n+1)\)，则风险为 \((n\sigma^2+\mu^2)/(n+1)^2\)，对每个固定均值趋零，但每个有限 \(n\) 在 \(\mu\ne0\) 时仍有偏。
“对每个固定参数”不能换成“对所有参数统一”。均匀一致性要求 \(\sup_{\theta\in\Theta}P_\theta(|\delta_n-g(\theta)|>\varepsilon)\to0\)。上述 \(a_n\) 收缩在 \(\mu\in\mathbb R\) 上逐点均方一致；但固定 \(n\) 后让 \(|\mu|\) 增大，偏差无界，使超出任何固定误差限的概率上确界为1，因此不均匀一致。
17.1.6 三个不能互换的性质
无偏未必一致。 在 \(N(\mu,1)\) 的独立样本中，令 \(\delta_n=X_1\)。它始终无偏，但 \(P_\mu(|\delta_n-\mu|>1)=2[1-\Phi(1)]\approx0.31731\) 不随 \(n\) 下降，平方风险恒为1。样本量增长时，方法没有利用新增信息。
一致未必无偏。 令 \(\delta_n=\bar X_n+1/n\)。在上述正态模型中，它的偏差为 \(1/n\)、方差为 \(1/n\)，风险 \(1/n+1/n^2\) 趋零，所以均方一致，却在每个有限样本量都有偏。
在 \(N(\mu,1)\) 样本外，加入一个与全部样本独立的辅助随机化 \(U\sim U(0,1)\)，并定义可实施的随机化估计量
因为 \(U>0\) 几乎必然，随着 \(n\) 增大，附加项最终恒为零；大数定律因此使 \(D_n\to\mu\) 几乎必然。但附加项与均值误差独立，均值误差期望为零，所以
风险趋于1，不趋于零。极小概率的大误差保留了平均平方损失。每个样本量的二阶矩都有限，却没有满足风险收敛所需的尾部一致控制。若把附加幅度改为 \(n^2\)，仍强一致，但偏差恒为1、平方风险为 \(n^2+1/n\)，说明一致性甚至不自动保证偏差趋零。
17.1.7 效率必须注明比较条件
在估计同一目标、有限样本无偏且方差为正的两种方法中，可定义 \(\delta_1\) 相对于 \(\delta_2\) 的方差效率为 \(e_\theta=\operatorname{Var}_\theta(\delta_2)/\operatorname{Var}_\theta(\delta_1)\)。大于1表示前者方差较小。它依赖模型、参数和样本量；若两者有偏，单比方差便可能与均方风险的排序冲突。
例如正态样本量 \(n=2m\) 时，全样本均值方差为 \(\sigma^2/n\)，只取奇数位置的均值方差为 \(\sigma^2/m=2\sigma^2/n\)。两者都无偏、一致，但全样本均值在该比较中效率为2。更一般地，若同一速率下 \(\sqrt n(\delta_j-g(\theta))\xrightarrow{d}N(0,V_j(\theta))\)、\(0<V_j(\theta)<\infty\)，可比较渐近方差比 \(V_2/V_1\)。这并不单凭分布收敛就保证 \(n\operatorname{MSE}\to V_j\)，尾部矩条件仍需另查。
称估计量“有效”，通常需要它在明确的比较类中达到已证明的方差或渐近下界。无偏估计中的最优性见17.3节，信息下界及其正则条件见17.4节。这些性质也不直接等同于有偏方法的风险最优性、容许性或极小极大性。
习题与解答
习题17.1-1 风险收敛推出偏差消失（证明）
设 \(g(\theta)\) 有限，\(\operatorname{MSE}_\theta(\delta_n)\to0\)。不用偏差方差分解，直接证明偏差趋于零，并解释为何一致性本身不足以作此结论。
平方风险有限时，误差具有绝对一阶矩。由 Cauchy–Schwarz 不等式，\(|E_\theta\delta_n-g(\theta)|\le E_\theta|\delta_n-g(\theta)|\le[\operatorname{MSE}_\theta(\delta_n)]^{1/2}\to0\)。一致性只控制误差超过固定阈值的概率，没有控制尾部误差幅度；反例17.1-1把附加幅度改为 \(n^2\) 后虽然强一致，偏差却恒为1，直接否定了无矩条件的推论。
习题17.1-2 改变收缩系数（计算）
在 \(n=4\)、\(\sigma^2=1\) 的正态均值模型中取 \(a=3/4\)。求风险，并求它优于样本均值的参数区间。
方差为 \((3/4)^2/4=9/64\)，偏差为 \(-\mu/4\)，所以平方风险为 \(9/64+\mu^2/16\)。与均值风险 \(1/4\) 比较，需 \(\mu^2/16<7/64\)，即 \(|\mu|<\sqrt7/2\approx1.32288\)。端点风险相等，外侧更差。减弱收缩扩大了优于均值的参数区间，同时把零点风险从0.0625提高为0.140625；不能只按其中一处参数选择方法。
习题17.1-3 标准差与标准误（辨析）
独立同分布观测具有方差9，样本量为36。计算单个观测标准差与样本均值标准误。有人把样本标准差乘以 \(1/36\) 作为均值标准误，指出错误；若观测相关，如何修正方差公式？
单个观测标准差为3，均值方差为 \(9/36=1/4\)，其标准误为 \(1/2\)。标准差是方差的平方根，均值标准差缩小到原来的 \(1/\sqrt{36}\)，不是 \(1/36\)。未知方差时估计标准误通常用 \(S/6\)。相关观测还需加上所有交叉协方差的贡献，均值方差为 \([\sum_i\operatorname{Var}X_i+2\sum_{i<j}\operatorname{Cov}(X_i,X_j)]/36^2\)，相关性不能仅靠除以样本量消除。
习题17.1-4 无偏、一致与均方一致的分类
对 \(N(\mu,1)\) 样本，分别判断 \(X_1\)、\(\bar X_n+1/n\)、\(n\bar X_n/(n+1)\) 在整个 \(\mu\in\mathbb R\) 模型中的无偏、一致和均方一致性质。
\(X_1\) 对全部均值无偏，风险恒为1，且固定阈值外的误差概率不趋零，所以既不一致也不均方一致。第二个估计量的偏差为 \(1/n\)，风险 \(1/n+1/n^2\to0\)，因此有偏而均方一致，也一致。第三个估计量偏差 \(-\mu/(n+1)\)，在整个模型上不是无偏；风险 \((n+\mu^2)/(n+1)^2\) 对每个固定均值趋零，所以逐点均方一致。仅在 \(\mu=0\) 偏差为零不能把它称为全模型无偏。
关键术语
- 估计量：根据随机数据产生估计结果的可测规则。
- 估计值：该规则作用于一次观测数据所得的确定数值。
- 偏差：估计量抽样期望与目标值之差。
- 风险：固定参数下对损失取抽样期望所得的函数。
- 均方误差：平方损失下的风险，有限时等于方差加偏差平方。
- 标准误：估计量抽样分布的标准差，常需另行估计。
- 一致性：每个固定参数下，估计误差依概率趋于零。
- 均方一致性：每个固定参数下，平均平方误差趋于零。
- 效率：在指定模型与比较类中，以方差或渐近方差衡量的相对表现。
参考文献
- Will Fithian，UC Berkeley Stat 210A，Statistical Models and Estimation。用于损失、风险函数、平方风险及比较范围的基本定义。
- Philippe Rigollet，MIT 18.650，Chapter 2: Parametric Inference，2016。讨论估计量、一致性、偏差和平方风险；本节另展开矩条件、风险计算与反例。
- Rick Durrett，Probability: Theory and Examples，第5版，2019，§2.2、§2.4。用于弱、强大数定律及其可积条件。