第 11 章 · 条件期望与鞅

11.5 鞅的最大不等式与收敛

Martingale Inequalities and Convergence
鞅的终值矩能够控制整段路径的最大偏离,上穿越次数则把矩界转化为路径收敛。本节证明 Doob 最大不等式与上穿越不等式,说明非负鞅虽几乎必然收敛,极限仍可能失去期望。随后区分一致可积与一阶绝对矩有界,建立闭合鞅、各阶积分收敛及条件期望逼近之间的联系,并用具体路径和二进制分割检验这些结论。

11.5.1 Doob 弱型最大不等式

本节时间为离散的 \(n=0,1,\ldots\),所有过程相对于同一滤过 \((\mathcal F_n)\)。鞅、次鞅均要求各时刻可积,定义见 11.3 节。记 \(x^+=\max(x,0)\)、\(x^-=\max(-x,0)\)。最大不等式中的终值是一个固定有限时刻的随机变量。

定理 · Doob 弱 \(L^1\) 最大不等式

设 \((X_n)\) 是非负次鞅,\(X_N^*=\max_{0\le k\le N}X_k\)。对任意 \(\lambda>0\),令 \(A_\lambda=\{X_N^*\ge\lambda\}\),则

\[\lambda P(A_\lambda)\le E[X_N\mathbf1_{A_\lambda}]\le EX_N.\]
(11.5-1)

若 \((M_n)\) 是鞅,条件 Jensen 不等式使 \((|M_n|)\) 成为非负次鞅,因此 \(P(\max_{k\le N}|M_k|\ge\lambda)\le E|M_N|/\lambda\)。参见文献 [1] §4.4。

证明 · 按首次达到阈值的时刻分解

令 \(A_k=\{X_0<\lambda,\ldots,X_{k-1}<\lambda,\ X_k\ge\lambda\}\),其中 \(A_0=\{X_0\ge\lambda\}\)。这些事件两两不交,\(A_k\in\mathcal F_k\),其并为 \(A_\lambda\)。由次鞅性质的迭代式 \(E[X_N\mid\mathcal F_k]\ge X_k\),有 \(E[X_N\mathbf1_{A_k}]\ge E[X_k\mathbf1_{A_k}]\ge\lambda P(A_k)\)。对 \(k=0,\ldots,N\) 求和得第一步;第二步使用 \(X_N\ge0\)。

对有正有负的次鞅,可对 \(X_n^+\) 应用此定理;一般不能把 \(|X_n|\) 当作次鞅,也不能用可能为负的 \(EX_N\) 控制最大值概率。“弱 \(L^1\)”描述的是尾概率界,并未给出最大值的 \(L^1\) 范数界。

11.5.2 \(L^p\) 最大不等式与常数

定理 · Doob \(L^p\) 最大不等式

若 \((X_n)\) 为非负次鞅,\(1<p<\infty\),且 \(X_N\in L^p\),则

\[\|X_N^*\|_p\le\frac p{p-1}\|X_N\|_p,\qquad E[(X_N^*)^p]\le\left(\frac p{p-1}\right)^pE[X_N^p].\]
(11.5-2)

特别地,对鞅令 \(M_N^*=\max_{k\le N}|M_k|\),有 \(\|M_N^*\|_p\le p(p-1)^{-1}\|M_N\|_p\)。范数形式的常数为 \(p/(p-1)\);取 \(p\) 次矩时,常数也要取 \(p\) 次方。

证明 · 先截断最大值,再积分尾概率

令 \(Z_R=X_N^*\wedge R\),\(q=p/(p-1)\)。由尾积分公式、式 (11.5-1) 及 Tonelli 定理,

\[\begin{aligned}E[Z_R^p]&=\int_0^R p\lambda^{p-1}P(X_N^*\ge\lambda)\,d\lambda\\&\le pE\!\left[X_N\int_0^{Z_R}\lambda^{p-2}\,d\lambda\right]\\&=qE[X_N Z_R^{p-1}]\le q\|X_N\|_p\|Z_R\|_p^{p-1}.\end{aligned}\]
(11.5-3)

最后一步是 Hölder 不等式。若 \(\|Z_R\|_p=0\),结论直接成立;否则除以其 \(p-1\) 次方。令 \(R\uparrow\infty\),单调收敛给出式 (11.5-2)。截断保证除法前所有量有限,证明没有预先假设最大值属于 \(L^p\)。\(p=1\) 时积分中的 \(\lambda^{p-2}\) 在零点不可积,下面的例 1 会直接否定对应的统一范数界。

11.5.3 上穿越不等式:计数与损益

定义 · 上穿越(upcrossing)

固定 \(a<b\)。从 \(\tau_0=-1\) 开始,递归定义 \(\sigma_j=\inf\{k>\tau_{j-1}:X_k\le a\}\)、\(\tau_j=\inf\{k>\sigma_j:X_k\ge b\}\),空集的下确界取 \(\infty\)。截至 \(N\) 完成的上穿越数为 \(U_N(a,b)=\sum_{j\ge1}\mathbf1_{\{\tau_j\le N\}}\)。未到达 \(b\) 的最后一段不计入。

定理 · 次鞅上穿越不等式

若 \((X_n)\) 为次鞅,则每个有限 \(N\) 都满足

\[(b-a)E[U_N(a,b)]\le E[(X_N-a)^+]-E[(X_0-a)^+].\]
(11.5-4)
证明 · 对正部过程选择增量

令 \(Y_k=(X_k-a)^+\),它由递增凸函数作用于次鞅得到,仍为次鞅。设 \(H_k=1\) 当某个 \(\sigma_j<k\le\tau_j\),其他时候取 \(0\)。是否保留第 \(k\) 个增量只用到截至 \(k-1\) 的信息,故 \(H_k\) 为 \(\mathcal F_{k-1}\)-可测。

记 \(G_N=\sum_{k=1}^NH_k(Y_k-Y_{k-1})\)。每个完成区间从 \(Y_{\sigma_j}=0\) 到 \(Y_{\tau_j}\ge b-a\);若最后有未完成区间,其贡献为 \(Y_N\ge0\)。因此逐路径有 \(G_N\ge(b-a)U_N(a,b)\)。另一方面,补余的增量和 \(R_N=\sum_{k=1}^N(1-H_k)(Y_k-Y_{k-1})\) 满足 \(ER_N\ge0\):逐项条件化后,系数非负、条件增量均值非负。由于 \(G_N+R_N=Y_N-Y_0\),取期望便得式 (11.5-4)。

直接对鞅计算时,负部修正不能漏

对鞅 \((M_n)\) 按上述规则选择 \(H_k\)。若直接令 \(G_N^M=\sum_{k=1}^NH_k(M_k-M_{k-1})\),最后未完成的区间可能亏损。它的贡献至少为 \(-(M_N-a)^-\),所以 \(G_N^M\ge(b-a)U_N-(M_N-a)^-\)。鞅性给出 \(EG_N^M=0\),从而 \((b-a)EU_N\le E[(M_N-a)^-]\)。这里 \(x^-=\max(-x,0)\) 为非负量;参见文献 [2] §3。对次鞅仅知道 \(EG_N^M\ge0\),不能据此误推同一个上界。

指定路径的两次完整上穿越与一次未完成区间 指定路径:两次完成上穿越,最后一次未完成 b = 2a = 0−3n 01234567 开始完成 1开始完成 2开始未完成区间
图 11.5-1 · 路径依次为 \(0,2,-1,1,3,0,-2,-3\)。紫色线段表示 \(H_k=1\) 的增量;两次完成的增量和为 \(2+4\),末段贡献为 \(-3\)。改用 \(Y_k=X_k^+\) 后,末段贡献为 \(0\)。这是一条指定路径,不表示概率模拟。

11.5.4 几乎必然收敛与期望的损失

定理 · 次鞅收敛及非负上鞅收敛

若次鞅满足 \(C=\sup_nE[X_n^+]<\infty\),则存在可积随机变量 \(X_\infty\),使 \(X_n\to X_\infty\) 几乎必然。因而 \(L^1\) 有界鞅几乎必然收敛。非负上鞅也几乎必然收敛到可积 \(X_\infty\ge0\),且 \(EX_\infty\le EX_0\);非负鞅是其特例。

证明 · 排除有理区间上的无限振荡

因为 \((X_n-a)^+\le X_n^++|a|\),上穿越不等式和单调收敛给出 \(EU_\infty(a,b)\le(C+|a|)/(b-a)<\infty\)。于是每个固定有理数对 \(a<b\) 的上穿越次数几乎必然有限。只对可数多个有理数对除去一个共同零测集。若剩余路径的下极限小于上极限,就能在两者之间选出有理 \(a<b\),产生无限多次上穿越,矛盾。因此扩展实数极限存在。

还须排除无穷极限。由 \(EX_n\ge EX_0\),有 \(E|X_n|=2EX_n^+-EX_n\le2C-EX_0\)。Fatou 引理遂给出 \(E|X_\infty|\le2C-EX_0<\infty\)。若 \(X_n\) 是非负上鞅,对次鞅 \(-X_n\) 应用上述结论,其正部恒为零;再由 Fatou 引理及 \(EX_n\le EX_0\) 得到期望不等式。

例 1 · 期望恒为 1,极限却等于 0

独立抛公平硬币,令 \(\mathcal F_n\) 记录前 \(n\) 次结果,\(A_n\) 为前 \(n\) 次全是正面的事件,\(A_0=\Omega\)。定义 \(M_n=2^n\mathbf1_{A_n}\)。下一次正面、反面各以概率 \(1/2\) 出现,故 \(E[M_{n+1}\mid\mathcal F_n]=2^n\mathbf1_{A_n}=M_n\),这是非负鞅,且 \(EM_n=2^n2^{-n}=1\)。

\(P(\bigcap_nA_n)=\lim_n2^{-n}=0\),所以几乎每条路径在第一次反面后恒为零,\(M_\infty=0\)。然而 \(E|M_n-M_\infty|=1\)。对任意 \(K\),选 \(2^n>K\) 就有 \(E[M_n\mathbf1_{\{M_n>K\}}]=1\),直接表明这一鞅不一致可积。

还能精确计算其最大值。前 \(j\) 次正面、第 \(j+1\) 次反面的概率为 \(2^{-j-1}\),此时最大值为 \(2^j\);若前 \(N\) 次全是正面,最大值为 \(2^N\)。因此

\[E[M_N^*]=\sum_{j=0}^{N-1}2^j2^{-j-1}+2^N2^{-N}=1+\frac N2.\]
(11.5-5)

终值的 \(L^1\) 范数始终为 \(1\),最大值的 \(L^1\) 范数却无界。这排除了对所有鞅、所有 \(N\) 都成立的常数界 \(E[M_N^*]\le C E|M_N|\)。

11.5.5 一致可积、\(L^1\) 收敛与闭合鞅

回顾 9.5 节,一致可积(uniform integrability,UI)要求

\[\lim_{K\to\infty}\sup_nE\!\left[|M_n|\mathbf1_{\{|M_n|>K\}}\right]=0.\]
(11.5-6)

它蕴含 \(\sup_nE|M_n|<\infty\),例 1 说明反向不成立。UI 控制的是所有时刻的大值部分对期望的贡献。

定理 · 鞅的 \(L^1\) 收敛判据

对离散时间鞅 \((M_n)\),下列条件等价:① \(\{M_n\}\) 一致可积;② 存在 \(M_\infty\in L^1\),使 \(M_n\to M_\infty\) 于 \(L^1\);③ 存在某个 \(Y\in L^1\),使每个 \(n\) 都有 \(M_n=E[Y\mid\mathcal F_n]\) 几乎必然。第三种表示称为可积随机变量 \(Y\) 对鞅的闭合(closed martingale)。这些条件成立时还自动有几乎必然收敛,且

\[M_n=E[M_\infty\mid\mathcal F_n],\qquad EM_\infty=EM_0.\]
(11.5-7)
证明 · 依次证明三个蕴含

①蕴含 \(L^1\) 有界,上一小节先给出几乎必然极限;再由 Vitali 收敛定理得到 \(L^1\) 收敛,故①推出②。

若②成立,固定 \(n\),对 \(m\ge n\) 用鞅性和条件期望的 \(L^1\) 收缩性,有 \(\|E[M_\infty\mid\mathcal F_n]-M_n\|_1\le\|M_\infty-M_m\|_1\to0\)。这证明③可取 \(Y=M_\infty\),也得到式 (11.5-7) 的第一式;第二式来自 \(L^1\) 收敛。

最后设③成立。将 \(Y\) 在 \(|Y|\le K/2\) 处截断,其条件期望的绝对值不超过 \(K/2\)。在 \(|M_n|>K\) 上,余项的条件期望绝对值至少为 \(|M_n|/2\)。所以对所有 \(n\),

\[E[|M_n|\mathbf1_{\{|M_n|>K\}}]\le2E\left|E[Y\mathbf1_{\{|Y|>K/2\}}\mid\mathcal F_n]\right|\le2E[|Y|\mathbf1_{\{|Y|>K/2\}}]\longrightarrow0.\]
(11.5-8)

右侧与 \(n\) 无关,由 \(Y\in L^1\) 及控制收敛趋于零,故③推出①。一般随机变量序列即使 UI 也未必收敛;这里先用鞅结构取得路径极限。

11.5.6 \(L^p\) 收敛与 Lévy 向上定理

定理 · \(L^p\) 有界鞅收敛

若 \((M_n)\) 为鞅,且对某个 \(1<p<\infty\) 有 \(C_p=\sup_nE|M_n|^p<\infty\),则 \(M_n\to M_\infty\) 几乎必然且于 \(L^p\)。

证明

Hölder 不等式先给出 \(L^1\) 有界,故已有几乎必然极限。由 Doob 不等式,令有限终点 \(N\uparrow\infty\),单调收敛给出

\[E\left[\left(\sup_{n\ge0}|M_n|\right)^p\right]\le\left(\frac p{p-1}\right)^p C_p<\infty.\]
(11.5-9)

令 \(M^*=\sup_n|M_n|\)。因为 \(|M_\infty|\le M^*\) 几乎必然,\(|M_n-M_\infty|^p\le(2M^*)^p\),右侧可积。控制收敛便给出所需的 \(L^p\) 收敛。

定理 · Lévy 向上定理(upward theorem)

设 \(\mathcal F_n\) 递增,\(\mathcal F_\infty=\sigma(\bigcup_n\mathcal F_n)\)。对任意 \(Y\in L^1\),

\[E[Y\mid\mathcal F_n]\longrightarrow E[Y\mid\mathcal F_\infty]\qquad\text{几乎必然且于 }L^1.\]
(11.5-10)

若 \(Y\) 是 \(\mathcal F_\infty\)-可测的,极限就是 \(Y\)。闭合变量可包含滤过永远不会揭示的信息;未加这一可测性条件时,不能直接把极限写成 \(Y\)。

证明 · 识别已知存在的极限

塔式性质使 \(M_n=E[Y\mid\mathcal F_n]\) 成为闭合鞅。上一小节给出几乎必然且 \(L^1\) 的极限 \(Z\),可取 \(Z\) 为 \(\mathcal F_\infty\)-可测。若 \(A\in\mathcal F_k\),则对 \(n\ge k\),\(E[\mathbf1_A M_n]=E[\mathbf1_A Y]\);在 \(L^1\) 中取极限得到 \(E[\mathbf1_A Z]=E[\mathbf1_A Y]\)。递增的 \(\sigma\) 代数之并是生成 \(\mathcal F_\infty\) 的 \(\pi\) 系,由 \(\pi\)–\(\lambda\) 定理将积分恒等式推广到所有 \(A\in\mathcal F_\infty\),故 \(Z=E[Y\mid\mathcal F_\infty]\)。

例 2 · 逐次揭示二进制区间

令 \(U\) 在 \([0,1)\) 上均匀分布,\(\mathcal F_n\) 只记录 \(U\) 落在哪个长度 \(h_n=2^{-n}\) 的半开区间内。给定第 \(j\) 个区间 \([jh_n,(j+1)h_n)\),条件分布仍在该区间均匀,故

\[M_n=E[U\mid\mathcal F_n]=2^{-n}\left(\lfloor2^nU\rfloor+\frac12\right),\qquad |M_n-U|\le2^{-n-1}.\]
(11.5-11)

塔式性质验证鞅性;\(0\le M_n\le1\) 保证 UI。二进制区间生成 \(\sigma(U)\),所以向上定理给出极限 \(U\)。这里还可直接计算速度:每个区间内的误差在 \([-h_n/2,h_n/2]\) 上均匀,因此 \(E|M_n-U|=h_n/4=2^{-n-2}\),\(E|M_n-U|^2=h_n^2/12\)。这同时验证了 \(L^1\) 与 \(L^2\) 收敛。

二等分与四等分时的条件均值阶梯函数 n = 1:二等分的区间中点 n = 2:四等分的区间中点 101/21u 101/21u 1/43/41/83/85/87/8 最大误差不超过 1/4最大误差不超过 1/8
图 11.5-2 · 紫线为例 2 的函数 \(u\mapsto E[U\mid\mathcal F_n](u)\),灰色虚线为 \(y=u\),坐标按真实数值绘制。每条水平段取区间中点值;端点按正文的左闭右开约定。

11.5.7 习题与详解

习题 11.5-1 · 从 Doob 不等式得到平方矩尾界

设 \((M_n)\) 是平方可积鞅。证明 \(P(\max_{k\le N}|M_k|\ge\lambda)\le E[M_N^2]/\lambda^2\)。若 \(M_n\) 是公平随机游走、\(M_0=0\),求前 \(100\) 步达到绝对值 \(20\) 的概率上界。为何不能直接把式 (11.5-1) 的右侧换成 \(EM_N\)?

解

条件 Jensen 不等式给出 \(E[M_{n+1}^2\mid\mathcal F_n]\ge M_n^2\),故 \((M_n^2)\) 是非负次鞅。对阈值 \(\lambda^2\) 应用弱型不等式即可。公平随机游走满足 \(EM_{100}^2=100\),所以所求概率不超过 \(100/20^2=1/4\)。

鞅 \(M_n\) 本身可能有正有负。取 \(M_0=0\)、\(M_1=\pm1\) 各半,\(EM_1=0\),但 \(P(\max_{k\le1}M_k\ge1)=1/2\)。非负性不可从弱型不等式的第二步中删去。

习题 11.5-2 · 检查最后一个未完成区间

对图 11.5-1 的路径 \(x=(0,2,-1,1,3,0,-2,-3)\),取 \(a=0,b=2,N=7\)。求 \(U_7\)、可预测系数 \(H_1,\ldots,H_7\),并分别计算原路径及正部路径的增量和。

解

完成区间为 \([0,1]\)、\([2,4]\),未完成区间从 \(5\) 开始,所以 \(U_7=2\),\(H=(1,0,1,1,0,1,1)\)。原路径的增量和为 \((2-0)+(3-(-1))+(-3-0)=3\),小于 \((b-a)U_7=4\)。

终值负部为 \((x_7-a)^-=3\),正确的逐路径下界是 \(4-3=1\),确有 \(3\ge1\)。正部路径为 \((0,2,0,1,3,0,0,0)\),其增量和为 \(2+3+0=5\ge4\)。后者的未完成区间不会带来负贡献,这正是式 (11.5-4) 证明中取正部的作用。

习题 11.5-3 · 鞅级数及剩余路径的最大偏差

令 \(\varepsilon_k\) 为相互独立的公平 \(\pm1\) 变量,\(M_n=\sum_{k=1}^n\varepsilon_k/k\)。证明它几乎必然且于 \(L^2\) 收敛,并对 \(n\ge1,\eta>0\) 证明 \(P(\sup_{m\ge n}|M_m-M_n|\ge\eta)\le1/(n\eta^2)\)。

解

以 \(\mathcal F_n=\sigma(\varepsilon_1,\ldots,\varepsilon_n)\) 为滤过,独立且均值为零的增量使 \(M_n\) 为鞅。正交性给出 \(EM_n^2=\sum_{k=1}^nk^{-2}\le1+\int_1^\infty x^{-2}\,dx=2\),故 \(L^2\) 收敛定理适用。由 \(L^2\) 收敛,极限满足 \(E|M_\infty-M_n|^2=\sum_{k>n}k^{-2}\le1/n\)。

固定 \(N>n\),将习题 1 用于从时刻 \(n\) 开始的鞅 \(M_m-M_n\),得到 \(P(\max_{n\le m\le N}|M_m-M_n|\ge t)\le t^{-2}\sum_{k=n+1}^Nk^{-2}\)。先对任意 \(0<t<\eta\) 令 \(N\uparrow\infty\):事件 \(\{\sup_{m\ge n}|M_m-M_n|\ge\eta\}\) 包含于 \(\bigcup_N\{\max_{n\le m\le N}|M_m-M_n|\ge t\}\),其概率不超过 \(1/(nt^2)\)。再令 \(t\uparrow\eta\) 即得结论。这一步也覆盖上确界未在某个有限时刻取得的情形。

习题 11.5-4 · 非负鞅何时不损失期望?

设 \((M_n)\) 为非负鞅,几乎必然极限为 \(M_\infty\)。证明:\(\{M_n\}\) UI 当且仅当 \(EM_\infty=EM_0\)。再判断:若某个 \(Y\in L^1\) 闭合此鞅,是否必有 \(M_\infty=Y\)?

解

UI 蕴含 \(L^1\) 收敛,故保留期望。反向利用非负性写出 \(E|M_n-M_\infty|=EM_n+EM_\infty-2E[\min(M_n,M_\infty)]\)。最小值几乎必然趋于 \(M_\infty\),且被可积的 \(M_\infty\) 控制,控制收敛给出右侧极限为 \(EM_0-EM_\infty\)。期望相等时便有 \(L^1\) 收敛,再由闭合鞅判据得 UI。

第二问不一定。令 \(B_1,B_2\) 为独立公平 Bernoulli 变量,对所有 \(n\) 取 \(\mathcal F_n=\sigma(B_1)\),令 \(Y=B_1+B_2\)。于是 \(M_n=E[Y\mid\mathcal F_n]=B_1+1/2\) 为有界非负鞅,而 \(E|M_\infty-Y|=1/2\)。正确极限是 \(E[Y\mid\mathcal F_\infty]\);只有 \(Y\) 已对 \(\mathcal F_\infty\) 可测时才必等于 \(Y\)。

关键术语

  • 最大过程:截至某时刻所有过程值或绝对值的最大值。
  • 弱 \(L^1\) 界:由终值一阶矩控制最大过程尾概率的估计。
  • 上穿越:先到达低水平以下,再到达高水平以上的一次完整区间穿越。
  • 可预测系数:第 \(k\) 个系数对 \(\mathcal F_{k-1}\) 可测。
  • \(L^1\) 有界:各时刻绝对一阶矩具有统一上界。
  • 一致可积:大值部分的绝对期望随阈值增大而一致趋于零。
  • 闭合鞅:能够写成同一个可积随机变量的逐时刻条件期望的鞅。
  • Lévy 向上定理:递增信息下的条件期望趋于给定全部这些信息的条件期望。

参考文献与延伸阅读

  1. Durrett, R. (2019). Probability: Theory and Examples, 5th ed. §4.2 的定理 4.2.10–4.2.12 为上穿越与几乎必然收敛;§4.4 的定理 4.4.2、4.4.4、4.4.6 为最大不等式与 \(L^p\) 收敛;§4.6 的定理 4.6.7–4.6.8 为 UI、闭合鞅与递增信息的极限。Duke University 作者版 PDF。
  2. Polyanskiy, Y. (2018). Fundamentals of Probability, MIT 6.436J / 15.085J, Lecture 26, “Martingales II”。§3 展开鞅的上穿越负部估计与收敛证明,§1 回顾可积条件期望构成 UI 鞅。MIT 官方讲义 26。