主要先修：16.4 指数族、完全性与辅助统计量、17.2 矩估计与最大似然估计、17.4 Fisher信息与Cramér–Rao界、20.1 线性回归与Gauss–Markov定理。
技术部分另用：19.2 M估计、Z估计与夹心协方差、19.3 最大似然的渐近理论，适用段落见下述说明。
先学指数族、估计和信息，再建立GLM与IRLS。失配夹心段回接19.2，渐近推断段回接19.3；若继续做Wald、得分或似然比检验，再读19.4。 查看全书依赖图与分支路线。
20.4.1 分布、线性预测子与连接函数
二元响应只能取零或一，计数响应只能取非负整数。把这类响应放入高斯线性模型，既可能得到不合法的预测值，也会规定不合适的条件方差。广义线性模型（GLM）沿用线性预测子，但分别指定响应分布与均值的连接方式。先修内容是指数族、最大似然估计及固定设计回归。
给定固定设计矩阵 \(X\)，其第 \(i\) 行为 \(x_i^{\mathsf T}\)，列数为 \(d\)，且 \(\operatorname{rank}(X)=d\)。响应 \(Y_1,\ldots,Y_n\) 条件独立，密度或概率质量函数相对于固定测度写为
支持不随参数变化，参数处于内点，局部积分控制允许归一化式求两次导数；\(b\) 三次连续可微且 \(b''>0\)。离散参数（dispersion）\(\phi\) 控制条件方差的倍数，并非指响应必须离散。本文采用公共尺度；Bernoulli 与 Poisson 模型中它固定为一。
\(\vartheta_i\) 是规范参数；以 \(y\) 为统计量时，严格的自然参数是 \(\vartheta_i/\phi\)。对归一化式求导，得 \(E[(Y_i-b'(\vartheta_i))/\phi]=0\)；再求导，得 \(E[(Y_i-b')^2/\phi^2]-b''/\phi=0\)。因此
连接函数作用于条件均值：\(g(\mu_i)=\eta_i=o_i+x_i^{\mathsf T}\beta\)，其中 \(o_i\) 是已知偏置项（offset），没有偏置时取零。设 \(h=g^{-1}\) 二次连续可微，且 \(\dot\mu_i=h'(\eta_i)\ne0\)。规范连接取 \(g=(b')^{-1}\)，此时 \(\eta_i=\vartheta_i\)。分布与连接是两个选择：Bernoulli 可用 logit，也可用 probit；probit 连接不会把二元响应变成高斯响应。一般也没有 \(g(E[Y_i\mid X])=E[g(Y_i)\mid X]\)。
20.4.2 得分、曲率与 IRLS
对数似然为各观测对数密度之和。以下对 \(\beta\) 求导时固定 \(\phi\)，记 \(V_i=V(\mu_i)\)。由于 \(d\vartheta_i/d\mu_i=1/V_i\)，链式法则给出得分函数及 Hessian：
残差项的条件期望为零，故 Fisher 信息为 \(I(\beta)=-E[H(\beta)\mid X]=X^{\mathsf T}WX\)，其中 \(W\) 是对角矩阵，\(W_i=\dot\mu_i^2/(\phi V_i)>0\)。满列秩保证该矩阵正定。Newton 更新使用观测曲率 \(H\)，Fisher 评分法使用平均曲率 \(I\)：
规范连接满足 \(\dot\mu_i=V_i\)，所以式(20.4-3)的残差曲率项消失，\(H=-I\)，两种更新相同；非规范连接通常没有这一等式。
在上述条件下，在当前参数处构造工作响应 \(z\)，则一次评分更新等于一次迭代重加权最小二乘（IRLS）：
证明。所有权重和均值均在当前 \(\beta\) 计算。由 \(z-o-X\beta\) 的第 \(i\) 项等于 \((y_i-\mu_i)/\dot\mu_i\)，可得 \(X^{\mathsf T}W(z-o-X\beta)=U\)，因为 \(W_i/\dot\mu_i=\dot\mu_i/(\phi V_i)\)。加权最小二乘目标 \((z-o-Xb)^{\mathsf T}W(z-o-Xb)\) 的正规方程为 \(X^{\mathsf T}WXb=X^{\mathsf T}W(z-o)\)。矩阵正定，解唯一；减去当前参数的正规方程，得到 \(b-\beta=I^{-1}U\)，正是评分更新。这里完成的是单次更新的代数证明，并未证明反复更新必定收敛。步长过大时可用阻尼或线搜索。
工作响应依赖数据与当前参数，不能因为每一步使用最小二乘，就套用高斯线性模型的精确 \(t\)、\(F\) 分布。
20.4.3 Logistic 回归：概率与优势比
设 \(Y_i\mid X\sim\operatorname{Bernoulli}(p_i)\)，规范参数为 \(\vartheta_i=\log[p_i/(1-p_i)]\)，\(b(\vartheta)=\log(1+e^\vartheta)\)，\(\phi=1\)。logit 连接给出 \(p_i=e^{\eta_i}/(1+e^{\eta_i})\)，且 \(\dot p_i=p_i(1-p_i)\)。代入通式得
有限参数下，概率严格位于零与一之间。其他预测变量和偏置固定、某一变量增加一单位时，优势（odds）\(p/(1-p)\) 乘以 \(e^{\beta_j}\)，这是优势比，而非概率比。例如截距零、系数 \(\log2\) 时，变量从零变为一，概率从 \(1/2\) 变为 \(2/3\)：优势比为二，概率比为 \(4/3\)。这是条件关联的解释；因果结论还需要随机化或其他识别假设。
八次独立 Bernoulli 观测中六次为一、两次为零，只估计公共截距 \(\beta\)。对数似然为 \(6\beta-8\log(1+e^\beta)\)，得分为 \(6-8p\)。得分零点给 \(\hat p=3/4\)、\(\hat\beta=\log3\approx1.098612\)；曲率严格负，且两端似然均趋于负无穷，因此这是有限唯一最大值。
从 \(\beta=0\) 开始，\(p=1/2\)，每项权重 \(1/4\)，成功观测的工作响应为二，失败观测为负二。加权截距是 \([6(1/4)2+2(1/4)(-2)]/[8(1/4)]=1\)，也等于 \(0+(6-4)/2\)。这时预测概率约为 \(0.731059\)，尚未达到 \(3/4\)；第二次更新约得 \(1.096339\)。一次更新可解一个加权问题，仍需检查原似然是否真正达到最大值。
20.4.4 Poisson 回归：计数与暴露量
设 \(Y_i\mid X\sim\operatorname{Poisson}(\mu_i)\)。其规范参数为 \(\log\mu_i\)，\(b(\vartheta)=e^\vartheta\)，\(\phi=1\)。对数连接令 \(\mu_i=e^{\eta_i}>0\)，于是 \(\dot\mu_i=V_i=\mu_i\)。完整似然必须包含阶乘项；它虽不影响系数估计，却是概率模型的一部分：
观察时间、里程等暴露量 \(t_i>0\) 已知时，使用 \(o_i=\log t_i\)，得到 \(\mu_i=t_i\exp(x_i^{\mathsf T}\beta)\)。偏置的系数固定为一；把它当作普通变量估计，是另一个模型。固定暴露量及其他变量时，\(e^{\beta_j}\) 表示条件均值的比；在上述模型中，也表示事件率的比。
四个独立观察窗口的计数为 \((0,1,2,5)\)，暴露量为 \((1,1,2,2)\)，设公共事件率为 \(\lambda=e^\beta\)。忽略与 \(\beta\) 无关的项，\(\ell=8\beta-6e^\beta+C\)。因此 \(U=8-6e^\beta\)，\(I=6e^\beta\)，唯一有限 MLE 为 \(\hat\lambda=8/6=4/3\)、\(\hat\beta=\log(4/3)\approx0.287682\)。预测计数均值为 \((4/3,4/3,8/3,8/3)\)，总和为八。
初始 \(\beta=0\) 时，\(\mu=t\)、\(W=(1,1,2,2)\)，而 \(z-o=(-1,0,0,3/2)\)。加权截距更新为 \((-1+0+0+3)/6=1/3\)，与 Newton 更新 \(0+U/I=2/6\) 一致。原始计数的普通平均数为二，不能直接作为单位暴露量的事件率；必须使用总计数除以总暴露量。
20.4.5 条件方差与过度离散
严格 Poisson 模型要求 \(\operatorname{Var}(Y_i\mid X)=\mu_i\)。过度离散是实际条件方差超过该均值；把不同预测变量下的计数混合后，边际方差大于边际均值，并不能单独否定条件 Poisson 模型。诊断时应检验条件均值结构、残差模式以及观测间的依赖。
一个明确机制是未观测的随机事件率：固定预测变量 \(x\)，设 \(\Lambda\mid x\) 为 Gamma 分布，形状参数 \(\kappa>0\)、率参数 \(\kappa/\mu\)，再设 \(Y\mid\Lambda,x\sim\operatorname{Poisson}(\Lambda)\)。全期望与全方差公式分别给出
这种 Gamma–Poisson 混合产生负二项分布。它说明额外方差可来自随机率，而不只是计算误差。准 Poisson 方法另设 \(\operatorname{Var}(Y_i\mid X)=\phi\mu_i\)，保留均值方程；它规定均值与方差，并没有仅凭这两项就指定完整概率分布。不能修改 Poisson 公式中的尺度，同时仍声称使用原来的 Poisson 概率质量函数。
过度离散不必导致系数估计不存在。若条件均值正确、估计一致且独立观测满足相应大数律和得分中心极限定理，可以把 Poisson 得分作为估计方程，并使用夹心协方差。有组内相关时需按相关误差的结构处理。原 Poisson 信息矩阵的逆则通常低估不确定性；均值模型本身错误时，调整标准误也不能恢复目标参数的解释。
20.4.6 完全分离、估计存在性与推断
令 \(s_i=2y_i-1\)。若存在方向 \(b\in\mathbb R^d\)，使所有 \(s_i x_i^{\mathsf T}b>0\)，则称数据完全分离。对于非空样本及有限偏置，logistic 似然没有有限最大值。
证明。Bernoulli 对数似然可写成
任何有限 \(\beta\) 的每个加数均严格负，故 \(\ell(\beta)<0\)。沿 \(\beta+ab\)，随 \(a\to\infty\)，每个带符号的预测子都趋于正无穷，因此每个加数严格增加并趋于零。有限项求和得到 \(\ell(\beta+ab)\uparrow0\)。似然上确界为零，所有有限参数均达不到，故有限 MLE 不存在。证明还说明，满列秩带来的严格凹性只能保证“若最大值存在则唯一”，不能保证存在。
例如取预测变量 \((-2,-1,1,2)\)、响应 \((0,0,1,1)\)，设计含截距。截距零、正斜率 \(a\) 给出 \(\ell(0,a)=-2\log(1+e^{-a})-2\log(1+e^{-2a})\)，斜率越大，似然越高。若分离不等式改为非负，且至少一项严格正、至少一项等于零，称为准完全分离；沿该方向仍严格增加似然，同样排除有限最大值。
在每个有限迭代点，logistic 的权重仍为正；沿分离方向部分或全部权重却趋于零，信息矩阵可能病态。程序因容差停止后返回大系数，并不意味着存在通常意义的有限 MLE。惩罚似然可产生有限解，但它改变估计目标，推断须与新方法匹配；下一节讨论正则化。
常规渐近推断另需固定维数 \(d\)、真实参数在内点、正确条件分布、有限且一致的 MLE。更具体地，若 \(n^{-1/2}U_n(\beta_0)\Rightarrow N_d(0,I_0)\)、观测信息 \( -H_n/n\) 在包含真参数与估计值的局部邻域内依概率一致趋于正定 \(I_0\)，则似然展开给出 \(\sqrt n(\hat\beta-\beta_0)\Rightarrow N_d(0,I_0^{-1})\)。设计不能由少数观测支配，否则得分 CLT 也可能失败。用 \(I_n(\hat\beta)^{-1}\) 近似协方差依赖这些统计条件，而非仅依赖迭代是否收敛。
20.4.7 习题与解答
习题20.4-1 非规范连接的权重
Bernoulli 响应采用 probit 连接 \(p=\Phi(\eta)\)，其中 \(\Phi\) 为标准正态分布函数。求 IRLS 权重与工作响应，计算 \(\eta=0\) 时的权重，并解释 Newton 与评分法为何一般不同。
记标准正态密度为 \(\varphi\)，则 \(\dot p=\varphi(\eta)\)、\(V=p(1-p)\)，故 \(W=\varphi(\eta)^2/[p(1-p)]\)、\(z=\eta+(y-p)/\varphi(\eta)\)。在零点，\(p=1/2\)、\(\varphi(0)=1/\sqrt{2\pi}\)，因此 \(W=2/\pi\approx0.636620\)。probit 的 \(\dot p/V\) 不是常数，Hessian 还含 \((y-p)\partial_\eta(\dot p/V)\)；Fisher 信息把这一项取期望后消去，两个更新通常不同。这个权重不能与 logit 零点的 \(1/4\) 直接解释为同一参数单位下的信息，因为两种连接的线性预测子尺度不同。
习题20.4-2 事件率估计与近似标准误
在例20.4-2的公共事件率模型中，求总计数的精确分布、拟合点的 Fisher 信息，并用 delta 方法给出事件率的近似标准误。哪一步是渐近近似？
独立 Poisson 变量相加，得总计数 \(S\sim\operatorname{Poisson}(6\lambda)\)，这是有限样本精确结论。信息为 \(I(\beta)=6e^\beta=6\lambda\)，代入 \(\hat\lambda=4/3\) 得八。若正则大样本条件成立，\(\hat\beta\) 的近似标准误为 \(1/\sqrt8\approx0.353553\)，而指数函数的导数为 \(\lambda\)，所以 \(\hat\lambda\) 的近似标准误为 \((4/3)/\sqrt8\approx0.471405\)。该协方差与 delta 近似不是四个窗口下的精确分布保证；可以利用总计数的 Poisson 分布构造更合适的小样本推断。
习题20.4-3 随机率与准 Poisson 的区别
式(20.4-8)取共同形状 \(\kappa=2\)。分别计算条件均值为三、六时的条件方差及方差均值比。一个共同的准 Poisson 尺度能否精确描述两组？
Gamma 率的均值为 \(\mu\)，方差为 \(\mu^2/2\)。给定随机率后，计数的均值与方差均为该率；对其取期望并加上均值的随机性，得到总条件方差 \(\mu+\mu^2/2\)。当 \(\mu=3\) 时方差为 \(7.5\)，方差均值比为 \(2.5\)；当 \(\mu=6\) 时方差为 \(24\)，比为四。准 Poisson 的共同尺度要求两组比值相等，故不能精确拟合这两个条件方差。负二项的二次方差函数能表达该机制，但仍需检验随机率及条件独立假设。
习题20.4-4 严格凹性是否保证存在 MLE
独立 Poisson 观测只含截距，且全部计数为零。设计满列秩，Hessian 处处严格负。是否存在有限 MLE？与完全分离有何共同点？
此时 \(\ell(\beta)=-ne^\beta\)，得分为 \(-ne^\beta<0\)，Hessian 为 \(-ne^\beta<0\)。当 \(\beta\to-\infty\) 时，对数似然趋于零，但任何有限 \(\beta\) 的值均严格负，所以没有有限 MLE。均值的边界值零只能作为极限达到。它与完全分离一样，说明曲率条件给的是局部形状和最大值的唯一性，存在性还需排除沿无穷方向逼近上确界的情形；算法停止不能补上缺失的统计条件。
关键术语
- 指数族响应：以规范参数和累积量函数规定条件概率分布的响应模型。
- 线性预测子：已知偏置与设计向量乘回归系数之和，是连接后的均值。
- 连接函数：将条件均值映射到线性预测子，不直接变换观测响应。
- 规范连接：令线性预测子等于指数族规范参数的连接。
- 离散参数：条件方差函数的比例系数，在 Bernoulli 和 Poisson 中固定为一。
- 得分函数：对数似然对参数的梯度，描述似然的一阶变化。
- Fisher 信息：负 Hessian 的条件期望，规定评分法使用的平均曲率。
- IRLS：不断更新工作响应与权重，求解 Fisher 评分方程的计算方法。
- 优势比：两组概率优势之比，在 logistic 模型中与系数的指数对应。
- 完全分离：某个线性方向严格区分所有二元标签，导致有限 logistic MLE 不存在。
参考文献
- Peter Kempthorne，MIT 18.655，Lectures 20–25: Generalized Linear Models，2016：规范连接、似然导数与迭代重加权最小二乘。
- Steffen Lauritzen，Oxford BS2 Statistical Inference，Lecture 5: Generalized Linear Models，2008：指数族、均值方差函数与连接函数。
- Kerby Shedden，University of Michigan，Statistics 504，Generalized Linear Models，2019：条件模型、准似然与过度离散。
- SAS Support，Understanding and correcting complete or quasi-complete separation problems：分离、MLE 存在性以及迭代输出的推断限制。