主要先修：9.2 可测映射、分布与一般分布函数、9.4 乘积测度、独立性与累次积分、9.6 绝对连续与拉东—尼科迪姆定理。
这是统计路线的入口：先确定模型、未知参数与目标，再谈估计和检验。离散密度例子可以先读；一般支配模型的密度需要9.6的拉东—尼科迪姆工具。 查看全书依赖图与分支路线。
16.1.1 数据来自哪个分布
前面的概率计算通常从已知分布出发。现在观察到一组数据，需要确定生成它们的分布中哪些属性可以据此估计。先明确观测空间，再列出允许的数据生成规律，才有比较统计方法的依据。本节使用联合分布、分布测度和乘积测度，不预先要求总体为正态。
在可测观测空间 \((\mathcal X,\mathcal A)\) 上，统计模型（statistical model）是概率测度族
\(\Theta\) 是参数空间，\(\theta\) 标记候选分布。统计目标可写作 \(\tau(\theta)\)，例如均值、成功概率或某个分位数；若目标只依赖分布本身，则可写为目标泛函 \(g(P_\theta)\)。\(\Theta\subseteq\mathbb R^d\) 且维数固定的模型通常称为参数模型；允许未知分布在更广泛集合中变化时，可以建立非参数模型。
本节采用固定参数的抽样观点：每一个 \(\theta\) 对应一种确定的概率规律，重复收集数据时 \(X\) 随机变化。“未知”表达分析者掌握的信息，单独这一词不赋予参数概率分布。观察后写 \(X=x\)，其中 \(x\) 是已经得到的数值。贝叶斯方法则另外指定参数先验，与条件数据分布共同组成联合模型，见第21章。
统计量（statistic）是预先规定的可测函数 \(T:\mathcal X\to\mathcal T\)，计算规则只使用观测及已知常数。其抽样分布是推前测度
用 \(T(X)\) 估计目标时，称它为估计量；代入观测后，\(T(x)\) 是估计值。样本均值是统计量，而含未知 \(\theta\) 的 \(\sum_i(X_i-\theta)^2\) 一般不能直接由数据计算。
同一批数据对应不同对象：总体分布描述一次观测的规律，经验分布把质量放在已观测的点上，抽样分布描述重新收集一批数据后统计量的变化。单次观测不会直接给出后者；抽样分布由模型与统计量的规则共同决定。
16.1.2 密度、似然与条件模型
设存在同一个 \(\sigma\) 有限测度 \(\mu\)，使全部 \(P_\theta\ll\mu\)，称模型受 \(\mu\) 支配。由拉东—尼科迪姆定理，可选择密度版本 \(p_\theta=dP_\theta/d\mu\)。离散模型常以计数测度为基准，连续模型常以勒贝格测度为基准；统计模型的定义本身不要求这种支配表示。
固定观测值 \(x\) 后，似然（likelihood）是参数的函数 \(L_x(\theta)=p_\theta(x)\)。对每个固定参数，密度在数据空间满足 \(\int p_\theta\,d\mu=1\)；固定数据后，似然在参数空间的积分没有对应的归一化要求。连续模型中的密度值也不同于单个精确数据点的概率。
例如，单个观测的密度为 \(f_\theta\)，样本 \(X_1,\ldots,X_n\) 独立同分布，则关于乘积基准测度的联合密度与对数似然为
这里及本节其余对数均为自然对数；密度为零处取对数似然为负无穷。独立性使联合密度分解，同分布性使各项使用同一个函数。若观测有依赖，应使用正确的联合密度，或按条件密度逐项分解。
条件模型也应说明保留了哪些信息。对已知设计值 \(z_1,\ldots,z_n\)，若响应给定设计后条件独立，条件似然为 \(\prod_i f_\theta(y_i\mid z_i)\)。随机设计若有不含 \(\theta\) 的联合密度 \(q(z)\)，联合似然多出参数无关因子 \(q(z)\)，因此对 \(\theta\) 的似然比不变。若设计分布本身依赖目标参数，丢弃这部分就可能丢失信息；若设计依赖响应的收集规则，还须把该规则纳入模型。
16.1.3 伯努利样本：一个数据集与一族抽样分布
设 \(n=10\)、\(X_i\overset{\mathrm{iid}}{\sim}\operatorname{Bernoulli}(\theta)\)，\(\Theta=[0,1]\)。观测到某个含七个1的具体序列。计数测度下的联合质量为 \(\theta^s(1-\theta)^{10-s}\)，其中 \(s=\sum_i x_i\)；端点通过原始乘积或连续延拓理解。对当前数据，
在 \(0<\theta<1\) 内，导数为零给出 \(\widehat\theta=0.7\)，二阶导数 \(-7/\theta^2-3/(1-\theta)^2\) 严格为负，而两个端点似然均为零。因此0.7是全局最大值点。本例说明极大似然估计的计算；第17章再讨论一般方法及其性质。
数值上，\(L_x(0.7)=0.0022235661\)、\(L_x(0.5)=0.0009765625\)，似然比约为2.27693。若记录的只是总成功次数 \(S=7\)，其二项似然多出 \(\binom{10}{7}=120\)，最大值点和同一观测下的似然比均不变。
规则 \(T(X)=S/10\) 的抽样分布仍随真实参数变化：
当前估计值0.7是一个数；抽样分布描述重复十次试验时可能得到的所有估计值。最后，\(\int_0^1L_x(\theta)\,d\theta=B(8,4)=1/1320\)，并非1。指定均匀先验后归一化才得到 \(\operatorname{Beta}(8,4)\) 后验；归一化时采用的先验也是模型的一部分。
16.1.4 均匀端点：支撑也携带信息
设 \(n\ge1\)、\(X_i\overset{\mathrm{iid}}{\sim}U(0,\theta)\)，\(\theta>0\)，使用密度版本 \(f_\theta(u)=\theta^{-1}\mathbf1_{\{0\le u\le\theta\}}\)。对非负观测，记 \(m=\max_i x_i\)，则
当 \(m>0\) 时，可行域内似然随端点增大而严格减小，所以最大值在 \(\theta=m\) 取得。样本几乎必然满足 \(m>0\)。这里明确保留密度的端点约定；若改用不含端点的密度版本，边界处最大值的取得可能改为上确界，抽样分布本身不变。
取观测 \(x=(0.2,0.7,1.1)\)，则 \(m=1.1\)、\(L_x(1.1)=1.1^{-3}\approx0.751315\)。端点1.0无法产生这组数据；端点1.5的似然为 \(1.5^{-3}\approx0.296296\)。忽略指示函数而只优化 \(\theta^{-n}\)，会错误地把参数推向零。
最大值抽样规律的完整推导。 令 \(M_n=\max_iX_i\)。对 \(0\le t\le\theta\)，独立性给出 \(P_\theta(M_n\le t)=\prod_iP_\theta(X_i\le t)=(t/\theta)^n\)，故密度为 \(nt^{n-1}/\theta^n\)。积分得到
因此最大值估计向下有偏，校正后无偏。当前数据的校正值为 \(4\times1.1/3\approx1.46667\)。若为评估抽样行为假定真实端点1.5，则 \(P_{1.5}(M_3\le1.1)=(11/15)^3\approx0.394370\)，该概率不同于在参数1.5处的密度值。
更进一步，对固定 \(t\ge0\)，当 \(n>t\) 时，
非负误差的极限是速率1的指数分布，缩放为 \(n\)。这来自最大值的精确分布，普通样本均值CLT不能直接替代这项推导。证毕。
16.1.5 可识别性与相同观测规律
参数化可识别（identifiable），是指 \(P_\theta=P_{\theta'}\) 能推出 \(\theta=\theta'\)。目标 \(\tau\) 可识别，则只要求相同分布时有 \(\tau(\theta)=\tau(\theta')\)。这是模型在总体层面的性质；有限数据可以有多个较合理的参数值，不能据此直接否定可识别性。
伯努利模型可识别，因为分布在1处的质量就是 \(\theta\)。均匀端点模型也可识别：若 \(0<\theta<\theta'\)，则事件 \((\theta,\theta']\) 在前一分布中概率为零，在后一分布中概率为 \((\theta'-\theta)/\theta'>0\)。两个模型都可识别，估计量却可以有不同的偏差、尺度和极限分布。
混合模型的成分名称可能造成重复参数。令 \(\varphi\) 为标准正态密度，取 \(0<w<1\)、\(a\ne b\)，则
交换成分与权重不会改变观测规律。图中的两组参数分别为 \((0.3,-1,2)\) 和 \((0.7,2,-1)\)。要求 \(a<b\) 可以去除这一标签交换歧义；它不代替其他可识别性的验证。混合均值 \(wa+(1-w)b\) 在标签交换下保持不变，本例两组都等于1.1。
设对每个样本量 \(n\)，数据是来自 \(P_\theta\) 的iid样本。若存在 \(\theta,\theta'\)，使 \(P_\theta=P_{\theta'}\) 而 \(\tau(\theta)\ne\tau(\theta')\)，则不存在同一组实值统计量 \(T_n\)，同时在两参数下依概率收敛到各自的目标。
证明。 记 \(a=\tau(\theta)\)、\(b=\tau(\theta')\)，取 \(\delta=|a-b|/3>0\)。两种参数下的乘积观测分布相同，记为 \(Q_n\)。若一致性同时成立，则
两个事件不交：若同时成立，三角不等式会给出 \(|a-b|<2\delta=2|a-b|/3\)，矛盾。因此它们的概率和至多为1，但所写极限要求该和趋于2，仍矛盾。证毕。
该命题说明目标可识别是一致估计的必要条件，未声称它单独保证一致估计存在。对标签混合，可改为估计保持不变的分布属性；若目标仍是某个命名成分的均值，就需要规定能区分成分的约束或增加观测信息。
16.1.6 重参数化与模型失配
若 \(\eta=h(\theta)\) 是一一对应的参数变换，新模型为 \(P_{h^{-1}(\eta)}\)。它描述同一族观测分布。固定数据后，只需代入旧似然；例如均匀端点取 \(\eta=\log\theta\)，得到
这里没有参数雅可比因子。雅可比出现在概率密度所对应的随机变量或基准测度发生变换时；当前改变的只是候选分布的标记。若 \(h\) 多对一，而被合并的参数对应不同分布，就不能由新的单个参数唯一指定模型。
还须区分可识别性与模型是否符合观测机制。假设 \(0<\theta<1\)，所有 \(X_i=Z\)，其中 \(Z\sim\operatorname{Bernoulli}(\theta)\)，各边缘仍是伯努利分布，却没有独立重复。此时 \(\bar X_n=Z\)、方差始终为 \(\theta(1-\theta)\)。把这组相关观测当iid，仍可算出一个乘积“似然”，但由它得到的 \(\theta(1-\theta)/n\) 方差不适用于真实数据。
若真实观测分布位于 \(\mathcal P\) 之外，称为模型失配（model misspecification）。模型内的优化仍能选出候选参数，关于它的概率结论需要重新说明。结合抽样设计和生成机理检查独立性、测量误差及选择规则，再判断所用理论的条件；16.5节讨论抽样设计，17.5节讨论稳健估计，19.2节处理模型失配下的估计与协方差。
16.1.7 习题与解答
习题16.1-1 · 参数不能识别，目标仍可能识别
设 \(X_i\overset{\mathrm{iid}}{\sim}N(\theta^2,1)\)，\(\theta\in\mathbb R\)。证明参数不可识别，说明能否处处一致估计 \(\theta\)，并给出 \(\theta^2\) 的无偏一致估计量。
解答。 任取非零 \(c\)，参数 \(c\) 与 \(-c\) 都给出 \(N(c^2,1)\)。因此符号信息不在观测分布中，命题排除了在这两个参数下都一致估计 \(\theta\) 的可能。平方目标在相同分布下相等，因而可识别。样本均值满足 \(E_\theta\bar X_n=\theta^2\)、\(\operatorname{Var}_\theta(\bar X_n)=1/n\)，由切比雪夫不等式依概率收敛到 \(\theta^2\)。这不要求样本均值每次都非负；无偏和一致性是按抽样分布评价的性质。
习题16.1-2 · 似然比与估计量的抽样分布
二十次iid伯努利试验观测到十八次成功。求似然最大值点，计算它相对于 \(\theta=0.5\) 的似然比；若真实参数为0.5，求样本比例的方差。
解答。 似然为 \(\theta^{18}(1-\theta)^2\)。内部导数方程给出 \(\widehat\theta=18/20=0.9\)，对数似然严格凹且两端似然为零，所以该点为全局最大值点。比值为
这个数比较同一数据下两个参数的似然，不直接给出“参数0.9为真的概率”。在指定真实参数0.5时，\(S\sim B(20,0.5)\)，样本比例方差为 \(0.5(1-0.5)/20=0.0125\)。抽样方差和已经得到的估计值0.9分别回答重复抽样与当前观测的问题。
习题16.1-3 · 端点估计与抽样误差
四个iid \(U(0,\theta)\) 观测为 \(0.4,1.2,0.8,2.0\)。使用例2的密度版本，求似然最大值点与无偏校正值；在真实端点3下计算最大值不超过2的概率。
解答。 最大值为2，所以观测似然是 \(\theta^{-4}\mathbf1_{\{\theta\ge2\}}\)。在可行域内严格递减，故最大值点为2；按照最大值期望的计算，无偏校正为 \((5/4)\times2=2.5\)。对于真实端点3，四个观测都不超过2时才有最大值不超过2，独立性给出
这是一条精确有限样本概率，不需要正态近似。无偏校正改变估计规则，不改变原始数据的似然或最大值的分布。若未说明假定的真实端点，就不能把上述概率作为已观察数据后的参数概率。
习题16.1-4 · 改变测量单位时的似然
设 \(X_1,\ldots,X_n\) 有联合勒贝格密度 \(p_\theta(x)\)。对已知常数 \(c>0\)，记录 \(Y_i=cX_i\)。求新密度与似然，说明同一观测的参数似然比为何不变；与式(16.1-11)比较。
解答。 逆变换为 \(x=y/c\)，逆雅可比绝对值为 \(c^{-n}\)，由变量替换得到
因 \(c\) 已知且不随参数改变，在分母非零时，两参数的似然比中的因子 \(c^{-n}\) 约去；最大值点也不变。这里改变了数据坐标和数据密度对应的基准测度，所以需要雅可比。式(16.1-11)只重新标记参数，数据坐标保持原样。若 \(c\) 是未知参数的函数，这一变换一般不能由原始观测直接实施，不能沿用本题的解释。
关键术语
- 统计模型： 允许的观测概率测度组成的集合。
- 参数与目标泛函： 分布的标记，以及希望从该分布估计的属性。
- 统计量： 不含未知参数、可由观测计算的可测函数。
- 抽样分布： 给定模型后，重复抽样时统计量的分布。
- 支配模型： 全部候选分布相对同一基准测度具有密度。
- 似然： 固定数据后，密度作为参数的函数。
- 可识别性： 不同目标值对应可区别的观测分布。
- 标签交换： 重命名混合成分产生相同观测规律。
- 模型失配： 真实观测分布位于候选模型之外。
参考文献
- Kempthorne, P. (2016). MIT 18.655, Lecture 2, Statistical Models：模型与参数化、独立及条件观测模型、可识别性和建模条件。
- Fithian, W. (2025). Berkeley Stat 210A, Statistical models and estimation：数据生成族、参数与非参数模型、估计目标和抽样评价。
- Rigollet, P. (2016). MIT 18.650, Lectures 1–2: Introduction：统计问题、模型、样本与方法适用条件。本节的端点分布和不可识别目标命题均在正文独立证明。