- 叙述并证明单边切比雪夫（Cantelli）不等式，说明“只关心一侧”为何能得到更紧的界；
- 推导切尔诺夫界，会对具体分布（正态、二项、指数）选取最优参数并算出数值；
- 叙述并证明延森不等式，会用它重证 \(\mathrm{Var}(X)\ge 0\)，并解释凹效用函数下的风险厌恶与保险定价直觉；
- 在同一问题上比较多项式衰减界与指数衰减界的数量级差异；
- 了解这些不等式作为高维统计、机器学习与集中不等式理论入口的地位。
1. 引言：界还能更紧吗
8.2 节的切比雪夫不等式只用期望与方差两条信息，就对尾部概率(tail probability)给出了对一切分布一致成立的控制：\(\ P\{|X-\mu|\ge k\sigma\}\le 1/k^2\ \)。普适的代价是宽松——对正态分布，\(|X-\mu|\ge 2\sigma\) 的真实概率只有 \(0.0455\)，界却给出 \(0.25\)。本节沿三个方向收紧：其一，若我们只关心一侧的尾部，把“另一半信息”白白扔掉是可惜的，由此得到单边切比雪夫不等式；其二，若分布的矩母函数(moment generating function)已知，马尔可夫不等式施加于 \(e^{tX}\) 便产生指数衰减的切尔诺夫界；其三，若已知函数的凸凹性，期望与函数可以交换次序吗？延森不等式给出确定的方向。这三类结果是概率不等式中的基本工具，也是现代集中不等式(concentration inequality)理论的入口。
2. 单边切比雪夫不等式（Cantelli）
切比雪夫不等式控制的是两侧偏离的总概率 \(\{|X-\mu|\ge a\}\)。许多实际问题只关心一侧：投保人只担心损失过大，服务系统只担心排队过长。此时把单侧事件嵌入双侧事件 \(\{X-\mu\ge a\}\subseteq\{|X-\mu|\ge a\}\) 固然可行，但相当于扔掉了“另一侧不会发生坏情况”的信息。技巧是对随机变量做一个平移，再用马尔可夫不等式，并选取最优的平移量。
设 \(E[X]=\mu\)，\(\mathrm{Var}(X)=\sigma^2<\infty\)，则对任意 \(a>0\)，
\[ P\{X-\mu\ge a\}\;\le\;\frac{\sigma^2}{\sigma^2+a^2}, \qquad P\{X-\mu\le -a\}\;\le\;\frac{\sigma^2}{\sigma^2+a^2}. \]
与 \(\sigma^2/a^2\) 相比，Cantelli界的分母增加了 \(\sigma^2\)。当 \(0<a<\sigma\) 时，原界大于1，Cantelli界仍严格小于1。对 \(a>0\)、\(\sigma>0\)，它比用两侧切比雪夫控制同一个单侧事件所得的上界更紧。
设随机变量 \(X\) 的期望为 \(\mu\)、方差为 \(\sigma^2\)且 \(\sigma>0\)（其余分布信息未知）。分别用两边切比雪夫不等式与单边切比雪夫不等式估计 \(P\{X\ge\mu+2\sigma\}\)；若再假设 \(X\) 服从正态分布，真实值是多少？
| 方法 | 所利用的信息 | 结果 |
|---|---|---|
| 两边切比雪夫 | 仅 \(\mu,\sigma^2\) | \(\le 0.25\) |
| 单边切比雪夫（Cantelli） | 仅 \(\mu,\sigma^2\)，只用一侧 | \(\le 0.20\) |
| 正态分布真实值 | 完整分布形状 | \(0.0228\) |
3. 切尔诺夫界：指数衰减的威力
切比雪夫型界的共同短板是随 \(1/a^2\)（多项式速度）衰减。现代应用（假设检验、通信编码、机器学习泛化分析）中，我们普遍需要指数衰减的上界。方法是对 \(X\) 做指数变换。
\[ M_X(t)=E\!\left[e^{tX}\right] \]
称为 \(X\) 的矩母函数（MGF），在 \(t=0\) 附近有定义时它能唯一确定分布（7.6节矩母函数中已作讨论）。本节只须知道它在若干 \(t>0\) 处取有限值即可。
\[ P\{X\ge a\}\;\le\;\inf_{t>0:\,M_X(t)<\infty}\; e^{-ta}M_X(t). \]
直观地说，切尔诺夫界“借用”了 \(e^{tX}\) 的所有矩来刻画尾部：矩母函数增长越慢（分布越集中），界越紧。两个最重要的推论如下。
若 \(Z\sim N(0,1)\)，则对 \(a>0\)，\[ P\{Z\ge a\}\;\le\;e^{-a^2/2}. \]
设 \(X\) 为独立伯努利变量之和，\(\mu=E[X]\)，则对 \(\delta>0\)， \[ P\{X\ge(1+\delta)\mu\}\;\le\;\Bigl(\frac{e^{\delta}}{(1+\delta)^{1+\delta}}\Bigr)^{\mu}\;\le\;e^{-\mu\delta^2/(2+\delta)}\;\le\;e^{-\mu\delta^2/3}\quad(0<\delta\le1), \] 下尾以下限定 \(0<\delta\le1\)：\[ P\{X\le(1-\delta)\mu\}\;\le\;e^{-\mu\delta^2/2}. \]
设 \(X\sim B(1000,\,0.5)\)。估计 \(P\{X\ge600\}\)：(a) 两边切比雪夫；(b) 单边切比雪夫；(c) 切尔诺夫界；(d) 用 8.3 节的中心极限定理求近似真实值，并比较四个结果的数量级。
① 两边切比雪夫：\(\ P\{X\ge600\}\le P\{|X-500|\ge100\}\le\frac{250}{100^2}=0.025\)。
② 单边切比雪夫：\(\ P\{X\ge600\}\le\frac{250}{250+100^2}=\frac{250}{10250}\approx0.0244\)，仅略有改进——因为 \(a\gg\sigma\)，两侧信息在此并不关键。
③ 简化乘性Chernoff界为 \(e^{-6.67}\approx1.3\times10^{-3}\)，未再简化的乘性界约 \(8.3\times10^{-5}\)，但后者已经使用了上面放松后的矩母函数，仍非最优二项界。
④ 对精确矩母函数 \(M_X(t)=[(1+e^t)/2]^{1000}\) 优化，得到 \(t^*=\log(0.6/0.4)\)，严格上界为 \[\exp[-1000D(0.6\Vert0.5)]\approx1.79994\times10^{-9},\quad D(q\Vert p)=q\log(q/p)+(1-q)\log[(1-q)/(1-p)].\] 直接求和 \(2^{-1000}\sum_{k=600}^{1000}\binom{1000}{k}\) 得精确概率约 \(1.36423\times10^{-10}\)。连续性校正的正态近似约 \(1.6\times10^{-10}\)，可作参考，但不是严格上界。CLT只利用均值方差作极限近似，且这里的一致绝对误差界远大于尾概率，不能据此保证尾部相对精度。图1只比较严格上界和精确值。
| 方法 | 结果 | 数量级 |
|---|---|---|
| 两边切比雪夫 | \(250/100^2=0.025\) | \(10^{-2}\) |
| 单边切比雪夫 | \(250/10250\approx0.0244\) | \(10^{-2}\) |
| 简化乘性Chernoff上界 | \(e^{-6.67}\approx1.3\times10^{-3}\) | \(10^{-3}\) |
| 最优二项Chernoff上界 | \(e^{-1000D(0.6\Vert0.5)}\approx1.80\times10^{-9}\) | \(10^{-9}\) |
| 精确二项尾概率 | \(2^{-1000}\sum_{k=600}^{1000}\binom{1000}{k}\approx1.364\times10^{-10}\) | \(10^{-10}\) |
| 校正正态近似（非上界） | \(1-\Phi(99.5/\sqrt{250})\approx1.6\times10^{-10}\) | \(10^{-10}\) |
4. 延森不等式：凸性的红利
前两个不等式控制尾部概率，延森不等式则回答另一个问题：期望与函数变换能否交换次序？答案取决于函数的弯曲方向。
若对一切 \(x,y\) 与 \(\lambda\in[0,1]\)，
\[ g\bigl(\lambda x+(1-\lambda)y\bigr)\;\le\;\lambda g(x)+(1-\lambda)g(y), \]
则称 \(g\) 为凸函数：任意弦（连接曲线上两点的线段）位于曲线上方；不等号反向则为凹函数（弦在曲线下方）。二阶判据：区间上 \(g''\ge0\) ⟹ 凸，\(g''\le0\) ⟹ 凹。例如 \(x^2\)、\(e^x\)、\(|x|\)、\(1/x\;(x>0)\) 是凸的；\(\ln x\)、\(\sqrt{x}\) 是凹的。图 2 展示了凸函数的几何。
设 \(X\) 可积，取值在区间 \(I\) 内，\(g:I\to\mathbb R\) 是有限凸函数，且 \(E|g(X)|<\infty\)，则 \[ E[g(X)]\;\ge\;g\bigl(E[X]\bigr); \] 若 \(g\) 为凹函数，不等号反向：\[ E[g(X)]\;\le\;g\bigl(E[X]\bigr). \]
(a) 利用延森不等式重新证明 \(\mathrm{Var}(X)\ge0\)，即 \(E[X^2]\ge(E[X])^2\)。(b) 某投保人拥有初始财富 \(100\) 万元，可能遭受随机损失：以概率 \(1/2\) 损失 \(36\) 万元、以概率 \(1/2\) 损失 \(0\)。其效用函数为 \(u(w)=\sqrt{w}\)。求他愿意为全额保险支付的最高保费，并与期望损失比较。
(b) 最终财富 \(W\) 以等概率取 \(100\) 与 \(64\)（万元）。\(u=\sqrt{w}\) 是凹函数（\(u''<0\)），故 \[ E[u(W)]=\tfrac12\sqrt{100}+\tfrac12\sqrt{64}=\tfrac{10+8}{2}=9\;\le\;\sqrt{E[W]}=\sqrt{82}\approx9.06, \] 即“赌博的期望效用低于期望值的效用”——这就是风险厌恶(risk aversion)。设确定性等价(certainty equivalent) 为 \(c\)：\(\sqrt{c}=9\Rightarrow c=81\)。投保人愿意支付的最高保费为 \(100-81=19\) 万元，而期望损失仅为 \(E[L]=18\) 万元：多出的 \(1\) 万元正是风险溢价(risk premium)。这解释了保险公司为何能收取“纯保费 + 附加保费”而仍有人投保；而保险公司一侧，凭借大数定律（8.2、8.4 节），承接大量独立保单后总赔付高度集中在期望附近，附加部分足以覆盖波动——一个完整的保险市场在两端各自的不等式中获得解释。
5. 从不等式到集中不等式：现代视角
本节三个不等式远不止是教材中的练习，它们是当代概率论最具活力的分支——集中不等式(concentration inequality)——的起点。核心问题一脉相承：随机量偏离其期望的概率有多小？
设 \(X_1,\ldots,X_n\) 相互独立，且 \(a_i\le X_i\le b_i\) 几乎必然，其中端点是有限常数。记 \(S=\sum_iX_i\)、\(V=\sum_i(b_i-a_i)^2>0\)。对每个 \(r>0\)，霍夫丁不等式（Hoeffding's inequality）给出有限样本保证：
先设 \(a\le Y\le b\)。对 \(K(t)=\log E[e^{t(Y-EY)}]\) 求导，得 \(K(0)=K'(0)=0\)，而 \(K''(t)\) 是按权重 \(e^{tY}/E[e^{tY}]\) 重新赋概率后的方差。任意仍取值于 \([a,b]\) 的分布，若均值为 \(m\)，由 \(E[(Y-a)(b-Y)]\ge0\) 得 \(\operatorname{Var}(Y)\le(m-a)(b-m)\le(b-a)^2/4\)。所以两次积分给出霍夫丁引理：
独立性使各项的矩母函数相乘。对 \(t>0\)，指数形式的马尔可夫不等式给出 \(P(S-ES\ge r)\le\exp(-tr+t^2V/8)\)。取 \(t=4r/V\) 得上尾界；对 \(-S\) 同样估计，再用并集上界得双侧界。若 \(V=0\)，各变量均为常数，两侧偏离概率为0，直接处理即可。
算例。独立的0–1试验中，用 \(\widehat p_n=S/n\) 估计共同成功概率 \(p\)，则 \(P(|\widehat p_n-p|\ge\varepsilon)\le2e^{-2n\varepsilon^2}\)。要使误差达到0.05的概率不超过0.05，取 \(n\ge\lceil\log40/0.005\rceil=738\) 即可。这是对任意 \(p\) 的充分保证，未声称所需样本量最小。
亚高斯的准确含义。若存在 \(v>0\) 使可积变量 \(X\) 满足 \(E[e^{t(X-EX)}]\le e^{vt^2/2}\) 对所有实数 \(t\) 成立，就称其为亚高斯（sub-Gaussian），\(v\) 称为方差代理，不必等于实际方差。由相同优化得到 \(P(|X-EX|\ge r)\le2e^{-r^2/(2v)}\)。有界变量由上述引理满足该条件；指数分布的矩母函数只在有限参数范围内存在，因而不属于亚高斯。不能把任何指数型尾衰减都叫作亚高斯。
定义与相关尾界可对照 Peter Bartlett 的 Berkeley CS281B/Stat241B 第4讲，第16–21页。有界差分、Bernstein型界及鞅集中不等式需要进一步条件；本节不把这些专题的名称当作已完成的理论。
6. 本节小结
- 单边切比雪夫（Cantelli）：\(\ P\{X-\mu\ge a\}\le\sigma^2/(\sigma^2+a^2)\)；证明对 \((X-\mu+b)^2\) 用马尔可夫不等式并取最优 \(b=\sigma^2/a\)，恒比两边版更紧。
- 切尔诺夫界：\(\ P\{X\ge a\}\le\inf_{t>0:\,M_X(t)<\infty}e^{-ta}M_X(t)\)；本质是马尔可夫不等式作用于 \(e^{tX}\)，带来指数速度的尾衰减；正态尾推论 \(\ P\{Z\ge a\}\le e^{-a^2/2}\)。
- 严格界与近似分开使用：对 \(B(1000,0.5)\) 的 \(P(X\ge600)\)，最优二项Chernoff上界约 \(1.80\times10^{-9}\)，精确概率约 \(1.364\times10^{-10}\)；正态近似不提供上界保证。
- 延森不等式：在变量与变换均可积的上述条件下，凸 \(\Rightarrow E[g(X)]\ge g(E[X])\)，证明用支撑切线；推论 \(E[X^2]\ge(E[X])^2\)；凹效用 \(\Rightarrow E[u(W)]\le u(E[W])\)，即风险厌恶与保险附加保费的来源。
- 这套“多项式界 → 指数界 → 凸性界”的工具箱是高维统计、机器学习与集中不等式理论的入口。
前八章围绕同一条逻辑展开：先用计数与公理描述随机事件，再用条件概率处理信息更新；随后以分布刻画随机变量，讨论联合行为、期望及其性质；最后用极限定理和不等式研究重复试验、平均值与尾部概率。掌握这些结论时，应同时记住各自的独立性、可积性和矩条件。后续学习统计推断、随机过程或统计学习时，这些条件仍是判断方法是否适用的依据。
练习
练习 8-5-1
某品牌灯管寿命 \(X\) 的期望为 \(1000\) 小时、标准差为 \(100\) 小时（分布未知）。用单边切比雪夫不等式估计 \(P\{X\ge1200\}\)，并与两边切比雪夫界比较。
答案与提示取 \(a=200\)，\(\sigma^2=10^4\)：单边 \(\ \frac{10^4}{10^4+200^2}=\frac{10^4}{5\times10^4}=0.2\)；两边 \(\ \frac{10^4}{200^2}=0.25\)。若寿命恰为正态，真实值 \(1-\Phi(2)=0.0228\)。
练习 8-5-2
设 \(X\sim\mathrm{Exp}(\lambda)\)，其矩母函数为 \(M(t)=\lambda/(\lambda-t)\)（\(t<\lambda\)）。求 \(P\{X\ge a\}\) 的切尔诺夫界及最优 \(t^{*}\)，并就 \(\lambda=1,\ a=3\) 算出数值，与真实值比较。
答案与提示最小化 \(f(t)=-ta+\ln\lambda-\ln(\lambda-t)\)，令 \(f'(t)=-a+\frac{1}{\lambda-t}=0\) 得 \(t^{*}=\lambda-\frac1a\)（须 \(a>1/\lambda=E[X]\)）。当 \(0<a\le1/\lambda\) 时，下确界在 \(t\downarrow0\) 趋于1，不能使用正的内部最优点；\(a\le0\) 时真实概率为1。对 \(a>1/\lambda\)，代回：\(\ P\{X\ge a\}\le e\cdot\lambda a\,e^{-\lambda a}\)。当 \(\lambda=1,a=3\)：界为 \(3e^{-2}\approx0.406\)，真实值 \(e^{-3}\approx0.0498\)——界成立但偏松；若取 \(a=6\)，界为 \(6e^{-5}\approx0.040\)，真实值 \(e^{-6}\approx0.0025\)，指数优势开始显现。
练习 8-5-3
利用延森不等式证明：对任意正数 \(x_1,\dots,x_n\)，几何均值不超过算术均值：\(\ \sqrt[n]{x_1x_2\cdots x_n}\le\frac{x_1+\cdots+x_n}{n}\)，并用 \(x_1=2,\ x_2=8\) 验证。
答案与提示设 \(X\) 等可能地取 \(x_1,\dots,x_n\)。\(g=\ln\) 为凹函数，故 \(E[\ln X]\le\ln E[X]\)，即 \(\ln\sqrt[n]{\prod x_i}\le\ln\frac{\sum x_i}{n}\)，指数化即得。验证：几何均值 \(\sqrt{16}=4\le\frac{2+8}{2}=5\)。
练习 8-5-4
判断下列函数在给定区间上凸、凹还是两者都不是：\(x^2\)、\(e^x\)、\(\ln x\;(x>0)\)、\(\sqrt{x}\;(x\ge0)\)、\(|x|\)、\(\frac1x\;(x>0)\)，并写出每个函数对应的延森不等式形式。
答案与提示凸：\(x^2,\ e^x,\ |x|,\ 1/x\)（用 \(g''\ge0\) 验证；\(|x|\) 在 \(0\) 处不可导，但支撑线存在——如 \(k\in[-1,1]\) 在 \(0\) 处均支撑）；凹：\(\ln x,\ \sqrt{x}\)。在 \(X\) 与 \(g(X)\) 可积且取值满足区间要求时，凸者给 \(E[g(X)]\ge g(E[X])\)（例如 \(E[|X|]\ge|E[X]|\)，即“均值的绝对值不超过绝对值的均值”）；凹者反向（例如 \(E[\ln X]\le\ln E[X]\)，正是练习 3）。