主要先修：10.3 弱收敛、紧性与连续映射、10.5 大数定律的证明与适用边界、16.1 统计模型、似然与可识别性、17.1 偏差、风险与一致性。
技术部分另用：16.2 正态抽样、枢轴量与精确分布、16.4 指数族、完全性与辅助统计量，适用段落见下述说明。
矩估计与MLE属于估计的构造层。指数族得分部分另用16.4，正态方差风险另用16.2；一般MLE的渐近性质在19.3证明，当前解优化问题不需要预先假定该理论。 查看全书依赖图与分支路线。
17.2.1 矩匹配、识别与连续逆映射
上一节规定了评价估计量的偏差、风险与一致性。本节讨论怎样构造估计量。设\(X_i\)iid来自固定维数参数模型\(\{P_\theta:\theta\in\Theta\subseteq\mathbb R^d\}\)，选择已知可测函数\(g_1,\ldots,g_d\)：
求解\(m(\widehat\theta_n)=\widehat m_n\)得到矩估计。经典选择为\(g_j(x)=x^j\)，也可以匹配其他已知函数的期望。方程可能无解或多解，所选矩还可能无法识别参数。
模型可识别不保证任意一组矩都可识别。例如\(N(0,\theta^2),\theta>0\)可以由方差识别，但均值对所有参数都为零。若矩映射在某个参数分支可逆，还须规定选哪个分支；局部可逆也不能自动解决多个远处根之间的选择。
设真实参数为\(\theta_0\)，各\(E_{\theta_0}|g_j(X)|<\infty\)。若\(m(\theta_0)\)有一个开邻域\(V\)，在其中有可测的逆分支\(r:V\to\Theta\)，满足\(m(r(z))=z\)、\(r(m(\theta_0))=\theta_0\)且在真实矩处连续，则在\(\widehat m_n\in V\)时取\(\widehat\theta_n=r(\widehat m_n)\)、其余取任意固定参数值的规则强一致。
证明。由强大数定律及有限个坐标的交，\(\widehat m_n\to m(\theta_0)\)几乎必然。开邻域保证在这些路径上最终进入\(V\)，连续性随即给出\(r(\widehat m_n)\to r(m(\theta_0))=\theta_0\)。邻域外的定义只影响有限多个初始项。证毕。
设\(X_i\sim\operatorname{Gamma}(\alpha,\lambda)\)，\(\alpha,\lambda>0\)，第二参数为率。由\(EX=\alpha/\lambda\)、\(\operatorname{Var}(X)=\alpha/\lambda^2\)，以\(v_n=n^{-1}\sum_i(X_i-\bar X_n)^2\)匹配方差得到
解与核对。对观测\((1,1,2,2,4)\)，\(\bar x=2\)、原点二阶样本矩为\(26/5\)，故\(v_n=6/5\)、估计值为\((10/3,5/3)\)。代回模型，均值为\(2\)、方差为\(6/5\)。连续正样本在\(n\ge2\)时几乎必然有\(v_n>0\)；总体方差也为正，所以逆映射在真实矩附近连续，命题证明强一致。它没有保证这两个比值无偏；在\(v_n=0\)的异常数据上必须另给规则。
17.2.2 最大似然是一个全局优化问题
固定密度版本与观测值，记\(L_x(\theta)\)为似然，定义最大值集合
从非空集合\(\mathcal M(x)\)中可测地选择一个点，才得到最大似然估计量，简称MLE。最大值集合可能为空，也可能包含多个点；数值算法得到的驻点需要验证。
参数空间紧且似然上半连续是一组常用存在条件；严格凹的对数似然在凸参数域内至多有一个最大值，但开参数域仍可能不取得上确界。内部可微最大值满足得分方程\(\nabla\ell_x(\theta)=0\)，这是必要条件；边界最优点、支持约束和无穷远处的行为必须另行检查。
在规范指数族中，iid对数似然为\(\eta^{\mathsf T}\sum t(x_i)-nA(\eta)\)加参数无关项，内部得分方程为\(\nabla A(\eta)=n^{-1}\sum t(x_i)\)。这是一种自然统计量的矩匹配；任意选择的原点矩估计未必与MLE相同，更不能用这个方程制造参数域外的解。
17.2.3 伯努利端点及最大值不存在
设\(n\ge1\)，iid伯努利样本成功次数为\(s\)，参数空间\([0,1]\)。在\(0<s<n\)时对数似然严格凹，导数方程给出\(\widehat p=s/n\)。还须处理两个端点：
结论与性质。完整规则仍为\(\widehat p=\bar X_n\)，也是矩估计，满足\(E_p\widehat p=p\)、\(\operatorname{Var}_p(\widehat p)=p(1-p)/n\)且强一致。但若模型改为\(p\in(0,1)\)，全成功或全失败时最大值不取得，MLE不存在。对任何内部真实参数，这类数据的概率为\(p^n+(1-p)^n>0\)，所以它不是有限样本中可直接忽略的情形。
17.2.4 正态均值方差：先优化均值再优化方差
设iid样本来自\(N(\mu,v)\)，\(\mu\in\mathbb R,v>0\)。记\(Q=\sum_i(x_i-\bar x)^2\)。除去常数后的对数似然为
解。每个固定\(v>0\)下，第一步唯一最优均值为\(\bar x\)。当\(Q>0\)时，剩余一元函数的导数为\((Q-nv)/(2v^2)\)，在\(v=Q/n\)前为正、后为负，故全局解为
它们也等于前两个原点矩方程的解。对观测\((1,2,3)\)，估计为\((2,2/3)\)。除数\(n-1\)得到的无偏样本方差为\(1\)，并非本模型的方差MLE。
若\(Q=0\)，取\(\mu=\bar x\)并令\(v\downarrow0\)，对数似然趋于正无穷，模型内没有最大值。这在\(n=1\)时总发生；在\(n\ge2\)的非退化正态抽样中发生概率为零。明确存在条件后，二阶矩LLN保证两个估计强一致。由精确卡方抽样分布还可算得
可见最大化似然本身不保证无偏；渐近正态性与效率还需19.3节的正则条件。
17.2.5 均匀上端点：两种方法的精确风险
设\(X_i\)iid服从\(U(0,\theta),\theta>0\)，使用\(f_\theta(x)=\theta^{-1}\mathbf1_{0\le x\le\theta}\)的密度版本。矩方程\(EX=\theta/2\)给\(\widehat\theta_{\rm MOM}=2\bar X_n\)，而16.1节的支持计算给\(\widehat\theta_{\rm ML}=M_n=\max_iX_i\)：似然在\(\theta\ge M_n\)内严格递减，最大值在左端点取得。这里要求\(M_n>0\)，模型下几乎必然如此；若观测全为零，正参数域内的似然无界，MLE不存在。
比较。对数据\((0.2,0.3,1.5)\)，矩估计为\(4/3\)，MLE为\(1.5\)。前者仍是参数空间中的正数，却小于实际样本最大值，在该参数下当前数据似然为零。矩匹配只匹配所选期望，没有同时执行样本支持约束。
精确风险计算。独立样本均值的方差给出\(\operatorname{Var}(2\bar X_n)=\theta^2/(3n)\)且它无偏。最大值密度\(nt^{n-1}/\theta^n\)给出\(EM_n=n\theta/(n+1)\)和\(EM_n^2=n\theta^2/(n+2)\)，于是
无偏校正\(\widetilde\theta_n=(n+1)M_n/n\)的方差为\(\theta^2/[n(n+2)]\)。这三条结论都是有限样本精确值，不使用正态近似。证毕。
矩估计由LLN一致。最大值满足\(M_n\le\theta\)几乎必然；对\(0<\varepsilon<\theta\)，\(P(M_n\le\theta-\varepsilon)=(1-\varepsilon/\theta)^n\to0\)，也证明一致性。最大值随\(n\)单调增加且有上界，因而有几乎必然极限；依概率收敛使这一极限只能为\(\theta\)，故强一致。风险计算显示两类误差具有不同尺度：矩估计的均方误差为\(n^{-1}\)量级，端点估计为\(n^{-2}\)量级。非正态极限见19.5节。
17.2.6 重参数化与多对一目标
若\(\eta=h(\theta)\)为一一变换，新似然是\(L_x(h^{-1}(\eta))\)，没有参数雅可比；若原MLE存在，其变换\(h(\widehat\theta)\)即是新MLE。16.1节已区分参数重新标记与数据坐标变换。
对可测目标\(\tau=h(\theta)\)，在\(h(\Theta)\)上定义按目标值剖面的似然
若\(\widehat\theta\)是原模型的全局MLE，则\(h(\widehat\theta)\)最大化\(L_x^*\)。
证明。记原最大值为\(M\)。每个参数子集的上确界都不超过\(M\)；包含\(\widehat\theta\)的子集则达到\(M\)，所以目标值\(h(\widehat\theta)\)为全局最大值点。证毕。
多对一变换未必能单独标记一个观测分布，式(17.2-9)保留同一目标下的其他参数并对其优化。剖面似然对同一目标下的其他参数取最大值；它既不进行似然求和，也不表示参数的概率密度。最大值存在时还可能不唯一：例如伯努利模型限制\(p\in\{1/4,3/4\}\)，两个观测为\((0,1)\)时，两参数的似然均为\(3/16\)。该模型可识别，但当前数据有两个MLE。
本节的存在性、无偏性与一致性均按具体条件证明。将MLE作为一般方法使用时，计算上须验证全局最大值，抽样推断上须检查识别、边界、支持和矩条件。一般渐近结论将在19.3节展开。
17.2.7 习题与完整解答
习题17.2-1 选择的矩是否识别参数
设\(X_i\)iid服从\(N(0,\theta^2),\theta>0\)。为什么不能用第一矩估计\(\theta\)？用第二矩构造一致估计，并计算数据\((1,-2,2)\)的估计值。
第一矩恒为\(0\)，方程无法区分不同\(\theta\)。第二矩为\(m_2(\theta)=\theta^2\)，在正参数域有连续逆\(\sqrt{m_2}\)，因此估计为\(\sqrt{n^{-1}\sum X_i^2}\)。二阶矩可积，LLN及连续映射证明强一致。样本二阶矩为\((1+4+4)/3=3\)，估计为\(\sqrt3\)。若允许带符号参数，则相同分布无法识别符号，不能只凭选择平方根解决这个模型问题。
习题17.2-2 得分为零就一定最大吗
设\(X_i\sim N(\theta^2,1),\theta\in\mathbb R\)，观测均值\(\bar x>0\)。找出全部得分根并辨别\(\theta=0\)；解释MLE是否唯一。
除去常数，对数似然为\(-n(\bar x-\theta^2)^2/2\)。导数为\(2n\theta(\bar x-\theta^2)\)，根是\(0,\sqrt{\bar x},-\sqrt{\bar x}\)。在零点的二阶导数为\(2n\bar x>0\)，所以零点是局部最小值。两个非零根使平方项为零，均为全局最大值。此模型的正负参数具有相同分布；即使求出了全部得分根，仍须按原参数域和似然比较筛选最大值。
习题17.2-3 平方目标的剖面似然
设\(X_i\sim N(\mu,1)\)，目标\(\tau=\mu^2\)。对数据\((-3,-1)\)计算其MLE，说明为何不能只保留\(\mu=\sqrt\tau\)。
原模型MLE为\(\bar x=-2\)，故不变性给目标MLE\(4\)。对\(\tau>0\)，剖面似然应取\(\max\{L_x(\sqrt\tau),L_x(-\sqrt\tau)\}\)；在\(\tau=0\)只有\(\mu=0\)。本数据中负根离均值更近，保留正根会丢失原全局最大值。该估计也不是无偏：\(E_\mu\bar X_n^2=\mu^2+1/n\)，不变性只描述优化结果。
习题17.2-4 偏差与有限样本风险
均匀端点模型取\(n=4,\theta=2\)。求矩估计、最大值MLE与无偏校正最大值的均方误差，并把MLE的偏差和方差分开。
矩估计无偏，均方误差为\(4/(3\cdot4)=1/3\)。MLE偏差为\(-2/5\)、方差为\(4\cdot4/(25\cdot6)=8/75\)，故均方误差为\(8/75+4/25=4/15\)。无偏校正的风险为\(4/[4(4+2)]=1/6\)。三者依次约为\(0.33333,0.26667,0.16667\)。有偏的MLE优于这里的无偏矩估计，另一个无偏估计又有更小风险；偏差或似然最大化本身都不决定这项比较。
关键术语
- 矩估计：用经验期望替换模型期望后解参数方程。
- 矩识别：所选总体矩足以区分目标参数。
- 逆分支：在指定参数区域由矩值恢复参数的规则。
- 最大似然估计：在模型参数空间中最大化观测似然。
- 得分方程：可微对数似然的一阶导数为零的方程。
- 全局最大值：其目标值不低于整个参数域内任何候选点。
- 支持约束：参数对可能观测范围的限制。
- 剖面似然：固定目标值后对其余参数取似然上确界。
- 不变性：已有MLE的参数函数最大化相应剖面似然。
参考文献
- Kempthorne, P. (2016). MIT 18.655, Lecture 9, Methods of Estimation I。官方讲义：矩方程、参数识别、估计方程与最大似然。
- Balakrishnan, S. (2016). CMU 36-700, Lecture 9, Finding Estimators。大学课程讲义：矩估计、MLE及一一和多对一变换下的不变性。
- Kempthorne, P. (2016). MIT 18.655, Lecture 16, Asymptotics: Consistency and Delta Method。官方讲义：矩方法的一致性与连续变换。本节的边界判别、全局最大值和均匀端点风险均在正文直接推导。