15.2.1 大数、中心极限与大偏差的尺度
设 \(X_i\) iid，样本均值为 \(\overline X_n\)、总体均值为 \(\mu\)。大数定律说明 \(\overline X_n\to\mu\)；有限正方差的中心极限定理刻画 \(\sqrt n(\overline X_n-\mu)\) 的分布。大偏差理论则关心固定距离的偏离，例如 \(P(\overline X_n\ge a)\)，其中 \(a>\mu\) 不随 \(n\) 靠近均值。
CLT 在固定标准化阈值处给出极限；上述事件的标准化阈值随 \(\sqrt n\) 增大，不能仅由 CLT 推出准确的远尾指数。大偏差原理研究 \(n^{-1}\ln P(\overline X_n\in A)\) 的极限范围。本节采用自然对数，速率的单位与第 14.1 节使用的比特不同。
称实随机变量序列 \(Z_n\) 满足速度 \(n\)、速率函数 \(I:\mathbb R\to[0,\infty]\) 的 LDP，如果 \(I\) 下半连续，且对每个闭集 \(F\) 与开集 \(G\)，
约定 \(\ln0=-\infty\)、\(\inf\varnothing=+\infty\)。若每个有限 \(c\) 对应的集合 \(\{I\le c\}\) 都紧，则称为好速率函数（good rate function）。一般速度也可以是趋于无穷的 \(a_n\)，本节集中讨论独立样本均值的速度 \(n\)。
对一般 Borel 集 \(A\)，用其内部与闭包可得上下界。只有二者上的速率下确界相同，才可据此断言对数概率极限等于该共同值。即使 \(P(Z_n\in A)=\exp[-nI_*+o(n)]\)，也只控制指数尺度；概率比值未必趋于 \(1\)。
15.2.2 Cramér 定理与速率函数
设存在 \(\delta>0\)，使 \(E e^{\theta X_1}<\infty\) 对 \(|\theta|<\delta\) 成立。定义对数矩母函数及其 Legendre–Fenchel 变换：
矩母函数发散处约定 \(\Lambda=+\infty\)，相应参数不贡献上确界。则 \(\overline X_n\) 满足速度 \(n\)、好速率函数 \(I\) 的 LDP。零点邻域的有限性已经保证全部有限阶矩存在，但不要求矩母函数在整条实轴有限。
\(I\) 是连续仿射函数族的上确界，因而凸且下半连续。取 \(\theta=0\) 得 \(I\ge0\)；Jensen 不等式给出 \(\Lambda(\theta)\ge\theta\mu\)，故 \(I(\mu)=0\)。在假设的邻域内任选 \(d>0\)，有
因此其有限水平集有界，再结合下半连续得到紧性。凸性还使 \(I\) 在均值右侧不减、左侧不增。下面完整推导闭集上界与可由指数倾斜实现的点处的下界；对矩母函数有效域边界等一般情形的下界延拓，作为 Cramér 定理的技术部分引用文献 [1–2]，不把内部点的证明当作所有边界的证明。
15.2.3 从 Chernoff 界到闭集上界
对 \(\theta\ge0\)，独立性和指数 Markov 不等式给出
对所有使 \(\Lambda\) 有限的非负参数取下确界。若 \(a\ge\mu\)，非正参数的 \(\theta a-\Lambda(\theta)\le\theta(a-\mu)\le0\)，故所得上确界就是 \(I(a)\)。左尾用非正参数处理。更一般地，任取 \(x\)、半径 \(r>0\) 和可用参数 \(\theta\)，当 \(|\overline X_n-x|<r\) 时有 \(\theta\overline X_n\ge\theta x-|\theta|r\)，所以
令 \(K\) 为紧集，取任意实数 \(L<\inf_KI\)。对每个 \(x\in K\)，上确界定义保证能选一个参数 \(\theta_x\)，使 \(\theta_xx-\Lambda(\theta_x)>L\)，再选小邻域保持指数大于 \(L\)。紧性给出有限个邻域覆盖，因此式 (15.2-5) 和并集界给出 \(\limsup n^{-1}\ln P(\overline X_n\in K)\le-L\)。
对一般闭集 \(F\)，还要控制无界部分。固定式 (15.2-3) 的 \(d\)，两侧 Chernoff 界给出
令 \(R\) 足够大，可以让右侧指数衰减率超过任意指定的 \(L\)，这称为指数紧性。将 \(F\) 分成紧集 \(F\cap[-R,R]\) 与外部部分，两个上界相加仍有对数上极限不超过 \(-L\)。最后令 \(L\uparrow\inf_FI\)，就证明了式 (15.2-1) 的闭集上界；若下确界为无穷，可让 \(L\) 任意增大。空集情形直接成立。
15.2.4 指数倾斜给出局部下界
对位于 \(\{\Lambda<\infty\}\) 内部的参数 \(\theta\)，以 \(P\) 表示单个 \(X\) 的分布，定义倾斜分布（exponential tilting）
其积分为 \(1\)。参数附近的指数可积上界允许对矩母函数求导，得到 \(E_\theta X=\Lambda'(\theta)\)、\(\operatorname{Var}_\theta(X)=\Lambda''(\theta)\)。这给出了选择新分布的方法：让原本稀有的均值 \(x\) 成为新分布的平均值。
令 \(x=\Lambda'(\theta)\)，在 \(P_\theta\) 下独立生成 \(n\) 项。由大数定律，对 \(A_{n,r}=\{|\overline X_n-x|<r\}\) 有 \(P_\theta^{\otimes n}(A_{n,r})\to1\)。把测度改回原分布，得到
凸性使 \(\theta\) 在式 (15.2-2) 中实现 \(I(x)=\theta x-\Lambda(\theta)\)。取对数、除以 \(n\)，第二个因子的贡献趋零，因此下极限至少为 \(-I(x)-|\theta|r\)。对包含 \(x\) 的开集，选任意足够小的邻域并令 \(r\downarrow0\)，即得下界 \(-I(x)\)。对这些 \(x\) 再优化便得到相应的开集下界。有效域边界或不能表示为 \(\Lambda'(\theta)\) 的点，需要前述额外延拓，不能省略。
同一个变换也解释重要性采样为何能用于稀有事件：在新分布下让事件常见，再乘回似然比。大偏差推导关注指数尺度；模拟算法还必须检查二阶矩与计算成本。
15.2.5 伯努利均值：相对熵作为速率
设 \(X_i\sim\operatorname{Bernoulli}(p)\) iid，\(0<p<1\)。有 \(\Lambda(\theta)=\ln(1-p+pe^\theta)\)。对 \(0<x<1\)，解 \(x=\Lambda'(\theta)=pe^\theta/(1-p+pe^\theta)\)，得到
在端点按连续延拓定义 \(I(0)=-\ln(1-p)\)、\(I(1)=-\ln p\)；在 \([0,1]\) 外为无穷。端点事件的概率分别为 \((1-p)^n,p^n\)，与该速率精确一致。所有内部点都可由有限参数倾斜实现，所以本例没有遗漏内部下界。倾斜后的单项恰为 \(\operatorname{Bernoulli}(x)\)。
这个速率是使用自然对数的 \(D(\operatorname{Bernoulli}(x)\Vert\operatorname{Bernoulli}(p))\)，等于第14.1节比特单位相对熵乘以 \(\ln2\)。求导可得 \(I'(p)=0\)、\(I''(p)=1/[p(1-p)]\)，所以在均值附近 \(I(p+t)=t^2/[2p(1-p)]+o(t^2)\)。这解释了局部二次形状与 CLT 方差的联系，但单靠这个 Taylor 展开不能证明所有随 \(n\) 变化的中等偏差结论。
取 \(p=0.3\)、\(a=0.6\)。有 \(I(0.6)\approx0.192042\)、倾斜参数 \(\theta_a=\ln3.5\)。Chernoff 上界给出 \(P(\overline X_{100}\ge0.6)\le e^{-100I(0.6)}\approx4.5680\times10^{-9}\)。直接二项求和 \(\sum_{k=60}^{100}\binom{100}{k}0.3^k0.7^{100-k}\approx5.12995\times10^{-10}\)。上界有效，却不是该有限样本概率的精确值。
由于 \(I\) 在 \([p,1]\) 递增且在 \(a\in(p,1)\) 连续，闭尾集的上界与开尾集的下界在 \(a\) 处吻合，因此 \(\lim_{n\to\infty}n^{-1}\ln P(\overline X_n\ge a)=-I(a)\)。这一结论允许有限样本中仍有显著的前置因子差异。
15.2.6 习题与后续学习范围
习题 15.2-1 · 正态均值的速率函数
若 \(X_i\sim N(\mu,\sigma^2)\) iid，\(\sigma>0\)，求 \(I(x)\) 和右尾固定阈值 \(a>\mu\) 的对数概率极限。
解答。\(\Lambda(\theta)=\mu\theta+\sigma^2\theta^2/2\)。对 \(\theta(x-\mu)-\sigma^2\theta^2/2\) 配方或求导，最大值在 \(\theta=(x-\mu)/\sigma^2\)，故 \(I(x)=(x-\mu)^2/(2\sigma^2)\)。速率在 \(\mu\) 右侧递增且连续，因此开闭尾集上下界吻合，极限为 \(-(a-\mu)^2/(2\sigma^2)\)。正态模型中的二次速率对所有 \(x\) 成立；一般分布只在均值附近具有二次展开。
习题 15.2-2 · 矩母函数不必处处有限
若 \(X_i\) iid 且为速率 \(1\) 的指数变量，求全部实数上的 \(I(x)\)，并求 \(a=2\) 的右尾速率。
解答。\(\Lambda(\theta)=-\ln(1-\theta)\) 当 \(\theta<1\)，其他处为无穷。对 \(x>0\)，优化 \(\theta x+\ln(1-\theta)\) 得 \(\theta=1-1/x\)，故 \(I(x)=x-1-\ln x\)。若 \(x=0\)，令 \(\theta\to-\infty\)，对数项趋于无穷；\(x<0\) 时线性项也趋于正无穷。因此 \(I(x)=\infty\) 于 \(x\le0\)。\(I(2)=1-\ln2\approx0.306853\)，相应对数右尾极限为其相反数。矩母函数在零点邻域有限，已足以满足定理假设。
习题 15.2-3 · 为什么必须区分开集与闭集
对伯努利均值，取一个位于 \((0,1)\) 的无理数 \(a\) 和集合 \(A=\{a\}\)。比较真实概率与 \(e^{-nI(a)}\)，说明是否违反 LDP。
解答。每个样本均值都是有理数 \(k/n\)，所以 \(P(\overline X_n\in A)=0\)，对数概率为负无穷；而 \(I(a)\) 有限。这不违反 LDP：闭集上界只要求负无穷不超过 \(-I(a)\)，成立；\(A\) 的内部为空，其下界为 \(-\infty\)，没有给出有限下界。对任意集合都写一个相等的对数极限会遗漏这种格点限制。
习题 15.2-4 · 删除独立性后的失败
令 \(Z\sim\operatorname{Bernoulli}(0.3)\)，每个 \(X_i=Z\)。尽管边缘矩母函数与例 1 相同，计算 \(n^{-1}\ln P(\overline X_n\ge0.6)\) 的极限。
解答。样本均值恒等于 \(Z\)，尾概率恒为 \(0.3\)，所以极限为 \(\lim_n(\ln0.3)/n=0\)，并非 \(-0.192042\)。指数 Markov 不等式本身仍然成立，但联合矩母函数不再是单项矩母函数的 \(n\) 次方。因而 iid 条件不能只用边缘同分布代替。
前面的本科基础、测度积分、条件期望、鞅、马尔可夫过程、布朗运动和随机分析入门，构成研究生概率核心的学习路线；它们并不穷尽概率论的所有研究方向。本节也没有展开一般大偏差理论中的全部边界处理、函数空间紧性或无限维原理。
| 后续方向 | 需要继续学习的内容 | 本书可用的基础 |
|---|---|---|
| 随机场与空间模型 | Gibbs 测度、渗流、空间相关与相变 | 条件分布、Markov 性、遍历性 |
| Lévy 过程与跳跃分析 | 无限可分分布、Lévy–Khintchine 公式、跳跃补偿 | 特征函数、泊松过程、鞅 |
| 更深入的随机分析 | 一般半鞅积分、测度变换、局部时 | 布朗运动、伊藤积分与随机微分方程 |
| 随机偏微分方程 | 无穷维噪声、函数空间估计与方程解的正则性 | 测度、Hilbert 空间与随机分析；另需偏微分方程 |
| 函数空间大偏差 | Sanov、Schilder、收缩原理与变分方法 | 弱收敛、紧性、速率函数与指数倾斜 |
关键术语
- 大偏差原理：用开集下界与闭集上界刻画指数尺度概率。
- 速度：对数概率的归一化尺度，本节为 n。
- 速率函数：量化各位置的指数衰减代价。
- 好速率函数：有限水平集都紧的速率函数。
- Legendre–Fenchel 变换：对线性函数减对数矩母函数取上确界。
- 指数紧性：无界区域的概率可获得任意强度的指数控制。
- 指数倾斜：按指数权重改变概率测度。
- 对数等价：控制概率的主要指数，不保证普通比值趋于一。
参考文献
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed., §2.7。作者公开教材：独立和的大偏差及指数变换。
- MIT 6.265 / 15.070J (2013). Lecture 3, Large Deviations Theory. Cramér’s Theorem。官方讲义：开闭集表述、速率性质和换测度下界；讲义展开的证明采用额外的有效域与支撑假设。
- University of Oxford, C8.6 Limit Theorems and Large Deviations in Probability (2021–22)。官方课程纲要：函数空间弱收敛、指数紧性及 Sanov、Schilder、收缩原理等后续专题。