第 11 章 · 条件期望与鞅

11.4 停时与可选停止定理

Stopping Times and Optional Stopping
停时规定了怎样根据已经观察到的信息决定结束。本节先证明停止过程仍为鞅以及有界停时的可选抽样,再逐项检查无界停时所需的一致可积、控制变量与有限期望条件。赌徒破产的概率和平均时长将通过两类鞅计算;首次击中一点的反例说明,几乎必然停止仍不足以保证期望不变。
学习准备与范围

本节只讨论离散时间 \(n=0,1,\ldots\)。固定滤过 \((\mathcal F_n)\) 和实值鞅 \((M_n)\),即 \(M_n\) 适应、可积,且 \(\mathbb E[M_{n+1}\mid\mathcal F_n]=M_n\)。需要条件期望的积分刻画、鞅与可预测过程,以及一致可积性和Vitali定理。连续时间中的路径正则性条件另见后续章节。

11.4.1 停时和停止时刻的信息

定义 11.4.1 停时(stopping time)

随机变量 \(T:\Omega\to\mathbb N_0\cup\{\infty\}\) 称为相对于 \((\mathcal F_n)\) 的停时,若

\[\{T\leq n\}\in\mathcal F_n\qquad(n\geq0).\]
(11.4-1)

离散时间下,这等价于 \(\{T=n\}\in\mathcal F_n\)。它要求在时刻 \(n\) 能判断“是否已经停止”。约定空集上的首次到达时间为 \(\infty\)。

若 \((X_n)\) 适应,\(B\) 是 Borel 集,则 \(T=\inf\{n\geq0:X_n\in B\}\) 是停时,因为 \(\{T\leq n\}=\bigcup_{k=0}^n\{X_k\in B\}\)。而“最后一次到达”通常要查看未来,不能直接视为停时。

定义 11.4.2 停止σ代数

在母σ代数 \(\mathcal F\) 中定义

\[\mathcal F_T=\{A\in\mathcal F:A\cap\{T\leq n\}\in\mathcal F_n\text{ 对所有 }n\geq0\}.\]
(11.4-2)

它描述停止时可以判定的事件。对补集和可数并逐项检查可知它确为σ代数。若停时 \(S\leq T\) 逐点成立,则 \(\mathcal F_S\subseteq\mathcal F_T\),因为 \(A\cap\{T\leq n\}=(A\cap\{S\leq n\})\cap\{T\leq n\}\)。

当 \(P(T<\infty)=1\) 时,记 \(M_T(\omega)=M_{T(\omega)}(\omega)\),在例外的无穷停时集合上取零。这个变量 \(\mathcal F_T\) 可测:对 Borel 集 \(D\),\(\{M_T\in D\}\cap\{T\leq n\}\) 是 \(\{T=k\}\cap\{M_k\in D\}\)、\(0\leq k\leq n\) 的有限并。可测性本身不保证 \(\mathbb E|M_T|<\infty\)。

11.4.2 停止过程仍然是鞅

定义停止过程 \(M^T_n=M_{n\wedge T}\)。即使 \(T=\infty\) 有正概率,这个定义也无歧义,因为 \(n\wedge T\leq n\)。令 \(\Delta M_k=M_k-M_{k-1}\),则逐点有

\[M_{n\wedge T}=M_0+\sum_{k=1}^n\mathbf1_{\{T\geq k\}}\Delta M_k.\]
(11.4-3)

停止过程的鞅性质。指示量 \(\mathbf1_{\{T\geq k\}}=\mathbf1_{\{T>k-1\}}\) 是 \(\mathcal F_{k-1}\) 可测的,而且有界。因此每一项可积,条件期望为零;有限和也可积且适应。特别地,\(\mathbb E[M_{(n+1)\wedge T}-M_{n\wedge T}\mid\mathcal F_n]=\mathbf1_{\{T>n\}}\mathbb E[\Delta M_{n+1}\mid\mathcal F_n]=0\)。所以 \((M^T_n)\) 是鞅,且每个确定的 \(n\) 都满足 \(\mathbb EM_{n\wedge T}=\mathbb EM_0\)。这里没有假设 \(\mathbb ET<\infty\)。

达到阈值后保持原值的停止路径 一条随机游走示意路径从零开始,依次到负一、零、一、二,首次达到二的时间为四。原路径之后继续变化,停止路径从时间四起一直等于二。 到达阈值后,停止过程保持原值 原路径 停止路径 −10123 024 = T68n 第 k 步是否计入,由第 k − 1 步时是否已经停止决定
图 11.4-1 停止只保留停时以前的增量。图是一条到达阈值 \(2\) 的示意路径。第 \(k\) 个增量的系数是 \(\mathbf1_{\{T\geq k\}}\),在观察该增量之前已经可知;这一可预测性保证式 (11.4-3) 中各项仍有零条件均值。

11.4.3 有界停时的可选抽样

定理 11.4.3 有界可选抽样(optional sampling)

设 \(S,T\) 是停时,且逐点满足 \(0\leq S\leq T\leq N\),其中 \(N\) 是确定的有限整数。则 \(M_S,M_T\) 可积,并有

\[\mathbb E[M_T\mid\mathcal F_S]=M_S,\qquad \mathbb EM_T=\mathbb EM_S=\mathbb EM_0.\]
(11.4-4)

完整证明。首先 \(|M_S|,|M_T|\leq\sum_{k=0}^N|M_k|\),所以可积,且前面的可测性论证给出 \(M_S\) 为 \(\mathcal F_S\) 可测。对任意 \(A\in\mathcal F_S\),写成有限增量和:

\[\mathbb E[(M_T-M_S)\mathbf1_A] =\sum_{k=1}^N \mathbb E[\mathbf1_{A\cap\{S<k\leq T\}}\Delta M_k]=0.\]
(11.4-5)

每一项为零,因为 \(A\cap\{S<k\leq T\}=(A\cap\{S\leq k-1\})\cap\{T\geq k\}\in\mathcal F_{k-1}\),可将指示量提出条件期望,再使用 \(\mathbb E[\Delta M_k\mid\mathcal F_{k-1}]=0\)。这就是 \(\mathbb E[M_T\mid\mathcal F_S]=M_S\) 的积分刻画。取期望,并令较早停时为 \(0\),得到全部等式。证毕。

若 \((M_n)\) 换成次鞅,同一证明中各增量的条件期望非负,结论变成 \(\mathbb E[M_T\mid\mathcal F_S]\geq M_S\);上鞅则方向相反。这里双停时都受确定的 \(N\) 控制,无需讨论无穷级数或交换极限。

11.4.4 无界停时:哪一步需要额外条件

对任意停时 \(T\),前面的证明只自动给出 \(\mathbb EM_{T\wedge n}=\mathbb EM_0\)。若 \(T<\infty\) 几乎必然,则 \(M_{T\wedge n}\to M_T\) 几乎必然,甚至逐条路径最终恒等;要让期望也收敛,仍须控制这族变量的尾部。

定理 11.4.4 一致可积停止族的可选停止

设 \(P(T<\infty)=1\)。若停止后的变量族 \(\{M_{T\wedge n}:n\geq0\}\) 一致可积,即

\[\lim_{K\to\infty}\sup_{n\geq0} \mathbb E\!\left[|M_{T\wedge n}|\mathbf1_{\{|M_{T\wedge n}|>K\}}\right]=0,\]
(11.4-6)

则 \(M_T\in L^1\)、\(M_{T\wedge n}\to M_T\) 于 \(L^1\),并且 \(\mathbb EM_T=\mathbb EM_0\)。

证明。几乎必然收敛蕴含依概率收敛。由第9.5节的Vitali定理,UI给出 \(L^1\) 收敛和极限可积性。于是 \(|\mathbb EM_{T\wedge n}-\mathbb EM_T|\leq\mathbb E|M_{T\wedge n}-M_T|\to0\),再用有界停时结论即可。证毕。

表 11.4-1 保证停止时保期望的三组充分条件
停时条件过程条件极限依据
\(T<\infty\) 几乎必然\(\{M_{T\wedge n}\}\) 一致可积Vitali定理
\(T<\infty\) 几乎必然存在确定的 \(C<\infty\),使所有 \(n\) 有 \(|M_{T\wedge n}|\leq C\) 几乎必然常数控制,或直接验证UI
\(\mathbb ET<\infty\)存在确定的 \(c<\infty\),使所有 \(k\geq1\) 有 \(|\Delta M_k|\leq c\) 几乎必然可积控制变量 \(|M_0|+cT\)

第二行更一般地可用统一可积上界 \(D\in L^1\),满足 \(|M_{T\wedge n}|\leq D\)。对第三行,\(\mathbb ET<\infty\) 已蕴含 \(T<\infty\) 几乎必然,且式 (11.4-3) 给出

\[|M_{T\wedge n}|\leq |M_0|+\sum_{k=1}^{T\wedge n}|\Delta M_k| \leq |M_0|+cT,\qquad \mathbb E(|M_0|+cT)<\infty.\]
(11.4-7)

控制收敛定理便可直接完成期望极限。这里要求整个停止族的统一控制;每个 \(M_{T\wedge n}\) 都可积,甚至 \(\sup_n\mathbb E|M_{T\wedge n}|<\infty\),都不足以替代UI。

11.4.5 赌徒破产:先控制退出时间,再求期望

例 11.4-1 公平随机游走的破产概率与时长

设 \(S_n=i+\sum_{k=1}^n\xi_k\),其中 \(\xi_k\) 独立,\(P(\xi_k=1)=P(\xi_k=-1)=1/2\),\(N\geq2\) 与 \(1\leq i\leq N-1\) 均为整数。取自然滤过,令 \(\tau=\inf\{n\geq0:S_n\in\{0,N\}\}\)。

先证明 \(\tau\) 可积。只要还没有退出,接下来连续 \(N\) 步都向上就必然退出,这个事件的条件概率为 \(2^{-N}\)。利用未来增量与过去独立,逐块递推可得

\[P_i(\tau>kN)\leq(1-2^{-N})^k,\qquad \mathbb E_i\tau=\sum_{n\geq0}P_i(\tau>n) \leq N\sum_{k\geq0}(1-2^{-N})^k=N2^N<\infty.\]
(11.4-8)

这个估计未使用可选停止定理,同时保证 \(\tau<\infty\) 几乎必然。由于 \(0\leq S_{n\wedge\tau}\leq N\),对鞅 \(S_n\) 使用表11.4-1第二行,令 \(h_i=P_i(S_\tau=N)\),便有

\[i=\mathbb E_iS_\tau=Nh_i,\qquad h_i=\frac iN,\qquad P_i(S_\tau=0)=1-\frac iN.\]
(11.4-9)

再看二次鞅 \(Q_n=S_n^2-n\)。每个固定 \(n\) 下有 \(|S_n|\leq i+n\),故 \(Q_n\) 可积;又因 \(Q_n-Q_{n-1}=2S_{n-1}\xi_n\),其条件均值为零。只对有界停时 \(\tau\wedge n\) 使用定理11.4.3,得到

\[\mathbb E_iS_{\tau\wedge n}^2-\mathbb E_i(\tau\wedge n)=i^2.\]
(11.4-10)

第一项由 \(N^2\) 控制而收敛,第二项由单调收敛定理趋于 \(\mathbb E_i\tau\)。因此

\[\mathbb E_i\tau=\mathbb E_iS_\tau^2-i^2 =N^2h_i-i^2=i(N-i).\]
(11.4-11)

也可对 \(Q_{\tau\wedge n}\) 使用控制变量 \(N^2+\tau\),其可积性已由式 (11.4-8) 确认。数值上,若 \(N=10,i=4\),则到达上界的概率为 \(0.4\),破产概率为 \(0.6\),平均持续 \(24\) 步。

例 11.4-2 偏置随机游走

保持两边界和初值,改为 \(P(\xi_k=1)=p\)、\(P(\xi_k=-1)=q=1-p\),其中 \(0<p<1\)、\(p\ne1/2\)。连续 \(N\) 步向上的概率为 \(p^N>0\),同一分块证明给出 \(\mathbb E_i\tau\leq Np^{-N}<\infty\)。令 \(r=q/p\),则

\[R_n=r^{S_n},\qquad L_n=S_n-(p-q)n\]
(11.4-12)

都是鞅:\(\mathbb E[r^{\xi_k}]=pr+q/r=1\),而 \(\mathbb E\xi_k=p-q\)。停止后的 \(R_n\) 被 \(\max(1,r^N)\) 控制;\(L_n\) 的增量绝对值不超过 \(2\),并且 \(\mathbb E\tau<\infty\)。分别应用表中的两种条件,得 \(r^i=1-h_i+r^Nh_i\)、\(i=Nh_i-(p-q)\mathbb E_i\tau\),即

\[h_i=\frac{1-r^i}{1-r^N},\qquad \mathbb E_i\tau=\frac{Nh_i-i}{p-q}.\]
(11.4-13)

例如 \(p=0.6,N=10,i=4\) 时,\(h_i\approx0.8166\)、\(\mathbb E_i\tau\approx20.832\)。上行概率提高改变了两个量;持续时间仍必须单独计算,不能由成功概率直接读出。

公平及向上偏置随机游走的退出概率和期望时长 边界为零和十,起点从零到十取整数。左图比较向上一步概率为零点五和零点六时的到达十概率;右图比较相应平均退出步数,点的值均由精确公式计算。 到达上界 10 的概率平均退出步数 00.51 0246810i 0102030 0246810i p = 0.5p = 0.6
图 11.4-2 概率与平均时长的不同变化。固定 \(N=10\),各点由式 (11.4-9)、(11.4-11)、(11.4-13) 精确计算,连线仅帮助读取整数起点间的变化,并非模拟数据。两个端点代表已经停止,所以退出时长为零。

11.4.6 反例:公平随机游走首次击中1

设 \(W_0=0\),\(W_n\) 为简单对称随机游走,\(T=\inf\{n\geq0:W_n=1\}\)。为了确认停止与可积性,先对整数 \(m\geq1\) 定义 \(\tau_m=\inf\{n:W_n\in\{-m,1\}\}\)。平移例11.4-1,取区间长度 \(m+1\)、起点 \(m\),可得

\[P(W_{\tau_m}=1)=\frac m{m+1},\qquad \mathbb E\tau_m=m,\qquad \tau_m\leq T.\]
(11.4-14)

因此 \(P(T<\infty)\geq m/(m+1)\) 对所有 \(m\) 成立,令 \(m\to\infty\) 得 \(T<\infty\) 几乎必然。但 \(\mathbb ET\geq m\) 对所有 \(m\) 成立,故 \(\mathbb ET=\infty\)。这两个结论均由已验证可积的有限区间退出问题推出。

极限时刻的期望确实改变

因为 \(W_T=1\) 几乎必然,所以 \(\mathbb EW_T=1\),而每个 \(n\) 都有 \(\mathbb EW_{T\wedge n}=0\)。此外,\(W_{T\wedge n}\leq1\),因此

\[\mathbb E|W_{T\wedge n}-1|=1-\mathbb EW_{T\wedge n}=1,\qquad \mathbb E|W_{T\wedge n}|=2\mathbb E(W_{T\wedge n})^+\leq2.\]
(11.4-15)

停止过程几乎必然趋于 \(1\),却不在 \(L^1\) 中收敛,故由Vitali定理可知停止族不一致可积。它甚至 \(L^1\) 有界;所缺的是尾部的统一控制。增量虽有界,但停时的期望无限;停止过程虽有上界,但没有统一的绝对值界。

11.4.7 习题与完整解答

习题 11.4-1 有界的随机选择未必是停时

设 \(\xi_k\) 独立且都等概率取 \(\pm1\),\(\mathcal F_0=\{\varnothing,\Omega\}\)、\(\mathcal F_n=\sigma(\xi_1,\ldots,\xi_n)\),\(W_n=\sum_{k=1}^n\xi_k\)。令 \(S=1\) 当 \(\xi_1=1\),否则 \(S=2\);令 \(U=1\) 当 \(\xi_2=-1\),否则 \(U=2\)。判断是否为停时,并计算 \(\mathbb EW_S,\mathbb EW_U\)。

完整解答

\(\{S\leq1\}=\{\xi_1=1\}\in\mathcal F_1\),且 \(S\leq2\),所以 \(S\) 是停时。\(U\) 的事件 \(\{U\leq1\}=\{\xi_2=-1\}\) 不属于 \(\mathcal F_1\):在相同的 \(\xi_1\) 取值下,两个 \(\xi_2\) 值都会发生且给出不同决定。因此 \(U\) 不是停时。直接写出

\[W_S=\xi_1+\xi_2\mathbf1_{\{\xi_1=-1\}},\qquad W_U=\xi_1+\xi_2\mathbf1_{\{\xi_2=1\}},\qquad \mathbb EW_S=0,\quad \mathbb EW_U=\frac12.\]
(11.4-16)

\(U\) 使用了未来增量的信息;虽然它有界,却不满足可选抽样的停时前提。

习题 11.4-2 破产之前向上走了多少步?

例11.4-2中取 \(N=4,i=2,p=2/3\)。求到达 \(4\) 的概率、平均退出时长以及退出前向上步数 \(U_\tau\) 的期望。

完整解答

分块尾界先保证 \(\mathbb E\tau<\infty\),故所有步数计数都可积。取 \(r=q/p=1/2\),可得

\[h_2=\frac{1-(1/2)^2}{1-(1/2)^4}=\frac45,\qquad \mathbb E\tau=\frac{4(4/5)-2}{1/3}=\frac{18}5.\]
(11.4-17)

若 \(D_\tau\) 为向下步数,则 \(U_\tau+D_\tau=\tau\)、\(U_\tau-D_\tau=S_\tau-2\)。所以 \(U_\tau=(\tau+S_\tau-2)/2\),取期望得 \(\mathbb EU_\tau=(18/5+16/5-2)/2=12/5\),同时 \(\mathbb ED_\tau=6/5\)。

习题 11.4-3 Wald等式与绝对可积性

设 \(\xi_k\) 独立同分布,\(\mathbb E|\xi_1|<\infty\)、\(\mathbb E\xi_1=\mu\),\(T\) 是相对于自然滤过的停时,且 \(\mathbb ET<\infty\)。证明 \(\sum_{k=1}^T\xi_k\) 可积,并证明其期望为 \(\mu\mathbb ET\)。不假设增量有界。

完整解答

\(\{T\geq k\}\in\mathcal F_{k-1}\) 与 \(\xi_k\) 独立。Tonelli定理和尾和公式给出

\[\mathbb E\sum_{k\geq1}|\xi_k|\mathbf1_{\{T\geq k\}} =\mathbb E|\xi_1|\sum_{k\geq1}P(T\geq k) =\mathbb E|\xi_1|\,\mathbb ET<\infty.\]
(11.4-18)

所以停止和绝对可积,而且可由Fubini定理交换有符号求和与期望。逐项使用同一独立性,得到 \(\mathbb E\sum_{k=1}^T\xi_k=\sum_{k\geq1}\mu P(T\geq k)=\mu\mathbb ET\)。这里先证明了绝对可积性,整个论证没有预设停止和已能交换期望。

习题 11.4-4 有限期望停时仍可能改变鞅的期望

令 \(\eta_k\) 为独立公平的 \(0,1\) 变量,\(M_0=1\)、\(M_n=2^n\mathbf1_{\{\eta_1=\cdots=\eta_n=1\}}\),取自然滤过。令 \(T=\inf\{n\geq1:\eta_n=0\}\)。证明 \(M_n\) 是鞅、\(\mathbb ET=2\),但 \(\mathbb EM_T\ne\mathbb EM_0\)。指出表11.4-1中哪些条件不满足。

完整解答

有 \(M_{n+1}=2M_n\eta_{n+1}\),故条件均值为 \(M_n\),且 \(\mathbb EM_n=2^n2^{-n}=1\)。又 \(P(T>n)=2^{-n}\),所以 \(T<\infty\) 几乎必然、\(\mathbb ET=\sum_{n\geq0}2^{-n}=2\)。停止时 \(M_T=0\),其期望为零。首次出现零后过程一直为零,因此 \(M_{T\wedge n}=M_n\)。对任意 \(K\),选 \(2^n>K\) 就有

\[\mathbb E[M_{T\wedge n}\mathbf1_{\{M_{T\wedge n}>K\}}] =2^nP(T>n)=1.\]
(11.4-19)

停止族不UI,也没有统一绝对值界;尚未停止时的增量绝对值可达 \(2^n\),不满足统一有界增量条件。故单独知道 \(\mathbb ET<\infty\) 不足以推出保期望。

关键术语

  • 停时:在每个时刻都能根据当时信息判断是否已经停止。
  • 停止σ代数:\(\mathcal F_T\) 表示停止时刻可辨认的事件。
  • 停止过程:\(M^T_n=M_{n\wedge T}\),在 \(T\) 后保持停止值。
  • 可选抽样:在明确条件下比较两个有序停时的条件期望。
  • 可选停止:在明确条件下把鞅的保期望性质延伸到随机时刻。
  • 一致可积停止族:对 \(\{M_{T\wedge n}\}\) 的大值尾部作统一控制。
  • 退出时间:过程首次离开给定区域或到达指定边界的停时。
  • Wald等式:可积独立同分布增量在有限期望停时处的和,期望为单步均值乘以平均时长。

参考文献

  1. Durrett, R. (2019). Probability: Theory and Examples, 5th ed., §4.8,尤其Theorems 4.8.2、4.8.5–4.8.9:可选停止的可积性条件、Wald等式与随机游走退出。双停时推广另见该节习题4.8.1;本节完整证明的双停时版本限于共同确定上界。作者公开版本。
  2. MIT OpenCourseWare, 6.436J / 15.085J Fundamentals of Probability, Fall 2018, Lecture 25, “Martingales I”,第3部分:停止过程与可选停止。原始讲义。
  3. 同课程Lecture 26, “Martingales II”,第2部分:公平和偏置赌徒破产、首次命中与UI失效。本节在应用停止结论前先给出退出时间的几何尾界,并分别说明二次项和时间项的极限依据。原始讲义。