主要先修：9.3 勒贝格积分与积分收敛定理、16.1 统计模型、似然与可识别性、17.1 偏差、风险与一致性。
本节以求导换序和Cauchy–Schwarz建立信息界，接19.3的正则似然理论。17.3的无偏最优估计提供另一种比较，不是本节证明的先修。 查看全书依赖图与分支路线。
17.4.1 得分函数之前，先检查正则性
在17.3节，无偏最优估计通过条件期望和充分性构造。本节从模型本身出发，为所有满足条件的估计量给出方差下界。Cramér–Rao界是有限样本不等式，不需要先把抽样分布近似为正态；它的关键在于参数变化能否通过密度导数表达。
先设 \(\Theta\) 为实数上的开区间，\(P_\theta\) 相对于不依赖参数的 \(\sigma\) 有限测度 \(\nu\) 有密度 \(p_\theta\)，其正密度区域 \(A\) 不随参数改变。对完整数据 \(X\) 定义
\(U_\theta\) 称为得分函数（score）。本节 \(\log\) 使用自然对数。这里的 \(I(\theta)\) 是完整数据的信息，讨论单个观测时另记 \(I_1(\theta)\)，不能遗漏样本量因子。
以下采用一组容易核查的充分条件。对每个内点 \(\theta_0\)，在其某邻域内，\(p_\eta(x)\) 对 \(\eta\) 在 \(\nu\) 几乎处处二次连续可微；一阶、二阶导数分别被 \(\nu\) 可积的函数 \(H_1(x),H_2(x)\) 一致控制，即 \(|\partial_\eta p_\eta(x)|\le H_1(x)\)、\(|\partial_\eta^2 p_\eta(x)|\le H_2(x)\)。同时要求 \(I(\theta_0)<\infty\)。控制收敛定理允许相应的求导与积分换序；只需要一阶结论时，不必额外要求二阶条件。
对具体估计量 \(T(X)\)，还需有限方差，以及估计量期望可微所需的换序条件。例如，邻域内 \(|T(x)\partial_\eta p_\eta(x)|\le H_T(x)\)，其中 \(H_T\) 对 \(\nu\) 可积，便是一个充分条件。密度本身可换序，不自动保证乘上任意 \(T\) 后也可换序。更一般的正则性可用密度比在平方可积空间中的可微性表述，见van de Geer讲义§3.3。
得分在给定参考参数处可以从数据算出，但代入未知真参数后的 \(U_\theta(X)\) 不是不依赖未知参数的统计量。下文所有期望都使用与得分求导位置相同的 \(\theta\)；在其他参考位置取值，均值一般不为零。
17.4.2 零均值得分、曲率与信息可加性
满足上一节相应的一阶、二阶条件时，有
证明。第一式来自密度归一化的一阶求导。对归一化等式再求一次导数，并用正密度区域内的恒等式，得到
平方得分期望有限，加上二阶密度导数的可积控制，也保证这里对数二阶导数的期望存在。结合零均值即得两种表达。证毕。
因此Fisher信息衡量的是模型在该参数附近的变化，并依赖参数化和计量单位。它不是已经观察到的某条似然曲线的高度。观测信息 \(-\partial_\theta^2\ell_\theta(X)\) 是随机量；在上述条件下，其期望才等于 \(I(\theta)\)，单次取值也不一定非负。
若 \(X_1,\ldots,X_n\) 相互独立，每个观测的模型均满足一阶条件并有有限信息，联合密度的对数为各对数密度之和，因此
最后一步使用独立性与每项零均值，使交叉项期望消失。非同分布的独立观测仍可逐项相加；有关联的数据不能直接套用 \(nI_1\)。这与16.5节不放回抽样必须保留协方差的原因一致。
17.4.3 无偏界、有偏界与等号条件
设 \(T\) 是不含未知参数的实值统计量，用来估计可微目标 \(g(\theta)\)。记 \(m(\theta)=\mathbb E_\theta T\)，偏差为 \(b(\theta)=m(\theta)-g(\theta)\)。仅在某个参数点碰巧无偏，不足以令 \(m'=g'\)；无偏性必须在邻域内成立，通常要求在整个参数空间成立。
在一阶正则性、估计量期望换序和有限方差条件下，若 \(0<I(\theta)<\infty\)，则
平方损失下，相应均方误差界为
证明。按假设将 \(m(\theta)=\int_A T(x)p_\theta(x)\,d\nu(x)\) 求导，利用 \(\partial_\theta p_\theta=p_\theta U_\theta\) 和零均值得分，可得
末式是Cauchy–Schwarz不等式，得分方差等于信息，除以正的 \(I(\theta)\) 得式(17.4-5)。再用均方误差等于方差加偏差平方，得式(17.4-6)。证明同时覆盖无偏和有偏估计，无需对有偏情形另加正态近似。证毕。
固定参数点处达界，当且仅当Cauchy–Schwarz取等号，即
这也包括 \(m'=0\) 的情形：达界要求 \(T\) 在该分布下为常数。若要构造对所有参数都达界的估计量，等式必须由同一个不含未知参数的 \(T\) 满足。右边在化简前可以含 \(\theta\)，不能把未知参数直接放进估计公式。达到无偏界便在相应无偏类中方差最小；反过来，无偏类中最优的估计量未必达到这个界。
17.4.4 精确达界与偏差的作用
设 \(X_i\) iid服从 \(\operatorname{Bernoulli}(p)\)，且 \(0<p<1\)。两点支持集固定，每个内点的导数条件都可直接核查。计算得
样本均值无偏，并且 \(\bar X-p=U_p^{(n)}/I_n(p)\)，故精确达界。若 \(n=20,p=0.3\)，信息为 \(2000/21\)，方差为 \(0.0105\)；这些是模型在假定参数点的数值，不是把一次样本比例当成真参数后的保证。端点 \(p=0,1\) 不在本定理的开参数空间内。
设 \(X_i\) iid服从 \(N(\mu,4)\)，\(n=16\)，方差已知，目标是 \(\mu\)。联合得分为 \(4(\bar X-\mu)\)，信息为四。样本均值无偏，方差等于 \(1/4\)，达到无偏界。另取不含未知参数的收缩估计 \(T=0.8\bar X\)，则
它达到与自身偏差函数相对应的有偏界，方差小于无偏界并不构成矛盾。均方误差在 \(|\mu|<1.5\) 时小于 \(0.25\)，在 \(|\mu|>1.5\) 时更大。比如 \(\mu=0\) 时为 \(0.16\)，\(\mu=2\) 时为 \(0.32\)；降低方差的代价要与偏差一起比较。
设 \(X_i\) iid服从率参数为 \(\lambda>0\) 的指数分布，密度为 \(\lambda e^{-\lambda x}\mathbf1_{\{x>0\}}\)。单个得分是 \(1/\lambda-X_i\)，故 \(I_n(\lambda)=n/\lambda^2\)。估计均值 \(g(\lambda)=1/\lambda\) 时，信息界为 \(1/(n\lambda^2)\)，样本均值恰有此方差，并满足式(17.4-8)。
若改为估计率参数，令 \(S=\sum_iX_i\)。它服从形状 \(n\)、率 \(\lambda\) 的Gamma分布。把密度乘以 \(s^{-k}\) 积分可得 \(\mathbb E_\lambda S^{-k}=\lambda^k\Gamma(n-k)/\Gamma(n)\)，要求 \(n>k\)。于是当 \(n>2\) 时，
例如 \(n=5,\lambda=2\)，其方差为 \(4/3\)，率参数无偏界为 \(4/5\)；若观察到 \(S=2.5\)，无偏率估计为 \(1.6\)，最大似然率估计为二。后者期望为 \(n\lambda/(n-1)\)，在有限样本中有偏。非线性变换目标以后，原来对均值达界的结论不能直接移用于率参数；也不能因一个估计是MLE便断言它精确达界。
17.4.5 多参数信息矩阵与目标梯度
设参数 \(\theta\in\Theta\subset\mathbb R^d\)，\(\Theta\) 开放，\(d\) 固定；对各分量满足前述共同支持、局部可微和换序条件。得分变为列向量，信息变为矩阵：
最后一种表达仍需二阶条件。矩阵总是半正定；以下要求它有限且正定，才使用通常的逆矩阵。信息奇异时，不能直接写出该逆，须另行分析参数化和可以估计的方向。
实值统计量 \(T\) 的期望为 \(m(\theta)\)，满足各分量的换序条件及有限方差，则
证明。逐个分量求导给出 \(\operatorname{Cov}_\theta(U_\theta,T)=\nabla m\)。任取列向量 \(a\)，对 \(T\) 与 \(a^\top U_\theta\) 应用Cauchy–Schwarz，得到
当梯度不为零时，把这个 \(a\) 代入，两边分别出现 \((\nabla m^\top\mathcal I^{-1}\nabla m)^2\) 与同一正量的一次方，约去即得结论；梯度为零时下界为零。等号要求 \(T-m=(\nabla m)^\top\mathcal I^{-1}U_\theta\) 几乎必然成立。证毕。
对 \(k\) 维估计量 \(\mathbf T\)，设 \(m=\mathbb E_\theta\mathbf T\)，其Jacobian \(Dm\) 是 \(k\times d\) 矩阵。对每个线性组合 \(c^\top\mathbf T\) 使用上一定理，便得
\(\succeq\) 表示两矩阵之差半正定，即每个线性组合的方差都满足相应下界，并非逐项比较非对角元素。若目标只是一维函数，其他未知分量仍是干扰参数，必须使用完整信息矩阵的逆。
以 iid的 \(N(\mu,v)\) 为例，参数取均值和方差 \((\mu,v)\)，其中 \(\mu\in\mathbb R,v>0\)。单个得分的两分量是 \((X-\mu)/v\) 与 \(\{(X-\mu)^2-v\}/(2v^2)\)。正态三阶中心矩为零、四阶为 \(3v^2\)，故
样本均值仍达到均值的下界。对于 \(n\ge2\)，无偏样本方差 \(s^2\) 的精确方差却是 \(2v^2/(n-1)\)，严格大于方差参数的界 \(2v^2/n\)，这里可调用16.2节的卡方分布。无偏最优与精确达界并不是同一个条件。
17.4.6 Uniform端点为何不满足这些条件
设 \(X_i\) iid服从 \(U(0,\theta)\)，\(\theta>0\)，最大值为 \(M\)。Lebesgue支配测度并不依赖参数，但正密度区域依赖端点。对一组严格位于内部的观测，忽略支持限制而求导，会得到
它是常数，方差为零，平方期望却不为零；甚至形式上的负二阶对数导数期望为 \(-n/\theta^2\)。本节的几个信息表达已经不一致。这里并非得分均值定理出了错，而是其假设没有成立。
单个观测的归一化积分，按Leibniz法则求导，具体显示遗漏的项：
只积分内部导数会漏掉右端点的贡献；不能通过“固定观测几乎不会落在边界”把它消除。若在整个实轴上写带指示函数的密度，则相应的求导与积分换序同样不合法。
由独立性，\(M\) 的精确分布函数在 \(0\le m\le\theta\) 上为 \((m/\theta)^n\)。对其密度积分，有 \(\mathbb E_\theta M^k=n\theta^k/(n+k)\)，\(k>0\)。因此
最右边恰是把式(17.4-17)的平方期望误用为正规信息后得到的“界”。例如 \(n=4,\theta=2\)，真实方差为 \(1/6\)，这个错误界为 \(1/4\)。若再误用可加性，还会得到另一错误界 \(\theta^2/n=1\)。低于错误界只说明公式使用失当。支持随参数变化的模型必须单独检查；这一个反例也不能代替对所有其他非正则模型的分析。
本节的界约束满足所述条件的估计量，未承诺下界总能达到，更没有给出所有MLE的有限样本最优性。正则MLE的渐近有效性还需要一致性、内部真参数、可逆信息和余项控制等条件，相关论证见19.3节。统计推断中精确结论与渐近结论应分别使用。
17.4.7 习题与解答
习题17.4-1 参考点得分的均值
令 \(X\sim\operatorname{Bernoulli}(p)\)，在固定参考点 \(p_0\in(0,1)\) 求得分 \(U_{p_0}(X)\)。计算它在真实参数 \(p\) 下的期望，并解释为什么“得分均值为零”不是对任意参考点的陈述。
参考点得分为 \((X-p_0)/\{p_0(1-p_0)\}\)，真实分布给出期望 \((p-p_0)/\{p_0(1-p_0)\}\)。分母为正，故只有两参数相同时期望才为零。归一化积分求导的证明中，密度与导数都取在同一个参数位置；把期望密度换成另一个参数，就不能沿用那一步。固定参考点得分可以从数据计算，而代入未知真参数的表达主要用于理论分析。
习题17.4-2 指数率MLE的有偏信息界
令 \(n=6\)，\(X_i\) iid服从率 \(\lambda\) 的指数分布，\(S=\sum_iX_i\)，\(T=6/S\)。计算 \(T\) 的偏差、方差与有偏信息界，并在 \(\lambda=3\) 时给出均方误差和其下界。
由Gamma逆矩公式，\(\mathbb E_\lambda T=6\lambda/5\)，偏差为 \(\lambda/5\)，均值导数为 \(6/5\)。又有 \(\mathbb E S^{-2}=\lambda^2/(5\cdot4)\)，故方差为 \(36\lambda^2/20-36\lambda^2/25=9\lambda^2/25\)。完整样本信息为 \(6/\lambda^2\)，有偏方差界为 \(6\lambda^2/25\)，严格小于实际方差。加偏差平方后，均方误差为 \(10\lambda^2/25\)，下界为 \(7\lambda^2/25\)。当率为三时，二者分别为 \(3.6\) 与 \(2.52\)；MLE的名称没有使不等式自动取等号。
习题17.4-3 不能用对角元倒数代替完整逆矩阵
某正则二参数模型在考察点的信息矩阵为 \(\begin{pmatrix}4&1\\1&1\end{pmatrix}\)。估计第一个参数时计算无偏界；若第二个参数已知，界有何变化？说明这一比较的条件。
矩阵的行列式为三且首个主子式为四，故正定。逆矩阵为 \(\frac13\begin{pmatrix}1&-1\\-1&4\end{pmatrix}\)。目标梯度为 \((1,0)^\top\)，所以两参数都未知时下界为三分之一。第二个参数已知并固定时，限制为一参数子模型，在同一点的信息为四，下界为四分之一。知道干扰参数能提高可用精度；两种比较针对不同的参数模型与无偏约束，不能对未知干扰参数时直接取首个对角元的倒数。
习题17.4-4 找出Uniform证明断裂的位置
对本节的 \(U(0,\theta)\) 模型，取无偏估计 \(T_U=(n+1)M/n\)。比较 \(d\mathbb E_\theta T_U/d\theta\) 与 \(\operatorname{Cov}_\theta(T_U,\widetilde U_\theta)\)。这指出Cramér–Rao证明的哪一步不能使用？
由于最大值的精确一阶矩，估计量期望就是端点参数，导数为一。形式得分 \(\widetilde U_\theta=-n/\theta\) 在固定参数下是常数，与任意有限方差统计量的协方差都为零。这两个量不相等，说明期望导数等于与得分协方差的关键恒等式在这里失效。根源包括支持边界改变以及由此造成的换序和零均值条件失效；Cauchy–Schwarz不等式本身仍然正确。不能把这个反例解释为一个合法信息界被更好估计量突破。
关键术语
- 正则支配族：本节要求共同正密度支持及适当的局部可微、可积控制条件。
- 得分函数：对数密度关于参数的导数，在真参数处描述局部模型变化。
- Fisher信息：正则模型下得分的协方差，标量情形为其方差。
- 观测信息：给定数据时的负对数密度Hessian，其期望在二阶条件下等于Fisher信息。
- Cramér–Rao界：由期望导数与得分协方差得到的方差下界。
- 有偏信息界：使用估计量均值导数，必须把目标导数与偏差导数一起计入。
- 达界条件：中心化估计量几乎必然等于得分的指定线性组合。
- 干扰参数：模型中影响推断、但不是当前目标的其他未知参数。
- 半正定比较：矩阵差对所有向量的二次型非负，表示所有线性组合的方差比较。
- 非正则端点模型：本节Uniform例的支持边界变化，破坏通常的信息恒等式。
参考文献
- Peter Kempthorne，MIT 18.655，Lecture 13：Unbiased Estimation and Risk Inequalities，2016。讲义陈述期望为一般函数的标量信息不等式、得分恒等式、可加性和多参数扩展。
- UC Berkeley，Stat 210A Reader：Score Function and Fisher Information，2025。核对得分参考点、信息的两种表达、标量及多参数下界，以及有限样本达界的限制。
- Sara van de Geer，Mathematical Statistics，2010，ETH Zürich讲义。§3.3–3.4给出平方可积可微性的条件和信息不等式证明，§3.2.3讨论Uniform最大值。