10.2.1 “无穷多次”与“最终总是”
本节固定概率空间 \((\Omega,\mathcal F,P)\)，所有随机变量均取有限实数值。先修内容是 9.1 节的生成族与 \(\pi\)–\(\lambda\) 定理、9.4 节的独立性及 10.1 节的收敛方式。讨论无限序列时，先把日常语言中的量词写清楚，再估计概率。
对事件列 \((A_n)\)，事件上极限（limsup）表示“发生无穷多次”，事件下极限（liminf）表示“从某次起总发生”：
前者也记为 \(\{A_n\ \mathrm{i.o.}\}\)，其中 i.o. 是 infinitely often 的缩写。对固定 \(\omega\)，前者要求每个 \(m\) 后面仍有一次发生，后者要求存在一个 \(m\)，使此后的每次都发生。
总有 \(\liminf A_n\subseteq\limsup A_n\)，而 \((\limsup A_n)^c=\liminf A_n^c\)。逐点看，\(\mathbf1_{\limsup A_n}=\limsup_n\mathbf1_{A_n}\)，下极限也有相同关系。这些事件只由可数次集合运算得到，因而都可测。它们不等于简单地对数列 \(P(A_n)\) 取极限。
10.2.2 两条 Borel–Cantelli 引理
第一部分不要求独立：若 \(\sum_nP(A_n)<\infty\)，则 \(P(A_n\ \mathrm{i.o.})=0\)。第二部分的标准独立形式为：若 \((A_n)\) 相互独立且 \(\sum_nP(A_n)=\infty\)，则 \(P(A_n\ \mathrm{i.o.})=1\)。两部分均不要求各事件的概率相同；参见文献 [1] §2.3。
令 \(B_m=\bigcup_{n\ge m}A_n\)。因为 \(\limsup A_n\subseteq B_m\)，可数次可加性给出 \(P(\limsup A_n)\le P(B_m)\le\sum_{n\ge m}P(A_n)\)。收敛级数的尾和趋于零，故所求概率为零。
第二部分的证明固定 \(m\)。由有限族的独立性和 \(1-x\le e^{-x}\)，对 \(N\ge m\) 有
对递减事件使用概率的连续性，得到 \(P(\bigcap_{n\ge m}A_n^c)=0\)，于是 \(P(B_m)=1\)。所有 \(B_m\) 的可数交仍有概率一，故 \(P(\limsup A_n)=1\)。
在 \(\Omega=(0,1)\) 上取均匀概率，令 \(A_n=(0,1/n)\)。虽然 \(P(A_n)=1/n\) 且级数发散，每个固定 \(\omega>0\) 却只落在有限多个 \(A_n\) 中，所以 \(\limsup A_n=\varnothing\)。这里事件嵌套，不能把交集概率写成乘积。独立性是第二部分的一种充分条件；某些较弱的依赖条件也能给出结论，但必须另作论证。
设 \(X_n\) 独立且服从参数为 \(1\) 的指数分布。对 \(n\ge2\)、\(c>0\)，令 \(A_n(c)=\{X_n>c\log n\}\)。由指数尾概率，\(P(A_n(c))=e^{-c\log n}=n^{-c}\)。因此 \(c>1\) 时几乎必然只越界有限次，而 \(0<c\le1\) 时几乎必然越界无穷次。
分别对 \(c=1+1/k\)、\(k=1,2,\ldots\) 使用第一部分，再对 \(c=1\) 使用第二部分。在这可数多个概率一事件的交上，所有上界最终成立，同时比 \(1\) 大的比值仍出现无穷次。因此
这里的可数交使概率一结论能够同时使用；没有对不可数多个 \(c\) 直接取交。
10.2.3 尾事件与 Kolmogorov 零一律
对随机变量列 \((X_n)\)，定义 \(\mathcal T=\bigcap_{m\ge1}\sigma(X_m,X_{m+1},\ldots)\)。若 \(A\in\mathcal T\)，则不论略去多少个开头的变量，剩余变量仍足以判断 \(A\)；这样的 \(A\) 称为尾事件。
例如 \(\{X_n>1\ \mathrm{i.o.}\}\) 是尾事件。令 \(S_n=\sum_{j=1}^nX_j\)，级数收敛事件 \(C=\{\lim_nS_n\text{ 存在且有限}\}\) 也是尾事件：对任意固定 \(m\)，实数的 Cauchy 准则把它写成
若 \((X_n)\) 相互独立，则每个 \(A\in\mathcal T\) 满足 \(P(A)\in\{0,1\}\)。无需同分布，也无需矩条件。
记 \(\mathcal F_m=\sigma(X_1,\ldots,X_m)\)、\(\mathcal G_m=\sigma(X_{m+1},X_{m+2},\ldots)\)。先证明二者独立。过去和未来的有限坐标柱集独立，这是随机变量相互独立的定义。固定一个过去柱集 \(B\)，满足 \(P(B\cap D)=P(B)P(D)\) 的未来事件 \(D\) 构成 \(\lambda\) 系：它包含全集，对补集及可数不交并封闭。它包含生成 \(\mathcal G_m\) 的未来柱集这一 \(\pi\) 系，故由 \(\pi\)–\(\lambda\) 定理包含整个 \(\mathcal G_m\)。再固定任意 \(D\in\mathcal G_m\)，对过去的柱集重复同一论证，就得到对一切 \(B\in\mathcal F_m\) 的乘积公式。
现在固定 \(A\in\mathcal T\)。因为 \(A\in\mathcal G_m\)，它与每个 \(\mathcal F_m\) 独立。令 \(\mathcal F_\infty=\sigma(X_1,X_2,\ldots)\)，考虑
这也是 \(\lambda\) 系，并包含 \(\bigcup_m\mathcal F_m\)。后者因 \(\mathcal F_m\) 递增而对有限交封闭，且生成 \(\mathcal F_\infty\)。再用一次 \(\pi\)–\(\lambda\) 定理，得到 \(\mathcal D_A=\mathcal F_\infty\)。特别地 \(A\in\mathcal D_A\)，所以 \(P(A)=P(A\cap A)=P(A)^2\)，只能取零或一。
零一律只限定概率的可能取值，仍需别的估计来选择零或一。收敛与否是尾事件，级数和等于多少通常不是：若 \(X_1\) 是公平 Bernoulli 变量而 \(X_n=0\)（\(n\ge2\)），则变量仍独立，级数恒收敛，但其和等于 \(1\) 的概率是 \(1/2\)。若去掉独立性，令所有 \(X_n=Z\)，其中 \(P(Z=1)=1/2\)，则 \(\mathcal T=\sigma(Z)\) 本身就含概率为 \(1/2\) 的事件。
10.2.4 从最终部分和控制全程最大值
设 \(X_1,\ldots,X_N\) 相互独立、\(EX_j=0\)、\(EX_j^2<\infty\)，且 \(S_k=\sum_{j=1}^kX_j\)。对任意 \(a>0\)，
Chebyshev 不等式只控制一个固定 \(S_N\)。这里的事件允许任意时刻越界；把各时刻的概率直接相加通常会重复计算同一条路径。以下证明按首次越界时刻划分事件。
令 \(D_k=\{|S_j|<a\ (j<k),\ |S_k|\ge a\}\)。这些事件两两不交，其并恰为最大值越界事件，且 \(D_k\in\sigma(X_1,\ldots,X_k)\)。记 \(R_k=S_N-S_k\)。独立性给出 \(R_k\) 与 \((S_k,\mathbf1_{D_k})\) 独立，中心化给出 \(ER_k=0\)。所有相关乘积可积，因为变量平方可积。展开平方便得
对 \(k\) 求和，左边不超过 \(ES_N^2\)，右边等于 \(a^2P(\max_{k\le N}|S_k|\ge a)\)。最后利用独立中心变量的方差可加性即得结论。没有中心化时交叉项未必为零，不能直接使用这个公式。例如 \(X_j\equiv1\) 时总方差为零，但对 \(a=1\)、\(N\ge1\)，越界概率为一。
10.2.5 方差可求和保证级数收敛
若 \((X_n)\) 相互独立、\(EX_n=0\)，且 \(\sum_n\operatorname{Var}(X_n)<\infty\)，则 \(S_n=\sum_{j=1}^nX_j\) 几乎必然且在 \(L^2\) 中收敛到某个 \(S\)，并且 \(ES=0\)、\(\operatorname{Var}(S)=\sum_n\operatorname{Var}(X_n)\)。非中心情形保留独立与方差条件，将中心化条件换成实数级数 \(\sum_nEX_n\) 收敛；此时 \(ES=\sum_nEX_n\)，方差公式不变。参见文献 [2] 定理 2。
记 \(v_m=\sum_{j>m}\operatorname{Var}(X_j)\)，则 \(v_m\to0\)。对尾部部分和使用式 (10.2-6)，再令有限终点 \(N\to\infty\)，由递增事件的连续性得到
选严格递增的 \(m_k\)，使 \(v_{m_k}\le2^{-3k}\)，并取 \(\varepsilon_k=2^{-k}\)。式 (10.2-8) 的越界概率不超过 \(2^{-k}\)，其和有限。第一条 Borel–Cantelli 引理于是保证：几乎必然存在 \(k_0\)，对所有 \(k\ge k_0\)，每个 \(n>m_k\) 都满足 \(|S_n-S_{m_k}|\le2^{-k}\)。故对 \(p,q\ge m_k\)，有 \(|S_p-S_q|\le2^{1-k}\)，这就是逐路径的 Cauchy 准则。实数完备性给出有限极限 \(S\)；在例外的零概率事件上令 \(S=0\)，即可得到随机变量。
最后，对固定 \(m\) 应用 Fatou 引理：
这也表明 \(S\in L^2\)，从而得到 \(L^2\) 收敛。由 Cauchy–Schwarz 不等式，\(ES_m\to ES\)；由 \(L^2\) 范数的连续性，\(ES_m^2\to ES^2\)，于是均值、方差结论成立。非中心情形对 \(X_n-EX_n\) 使用上述结果，再加上收敛的确定性均值级数。
10.2.6 三列定理：先截断，再检查三种级数
对独立中心变量，方差可求和是方便的充分条件。若大数值只出现有限次，原变量的均值或方差级数仍可能发散，而随机级数已经逐路径收敛。三列定理（three-series theorem）用固定阈值截断，给出完整判据。
设 \((X_n)\) 相互独立。固定任意 \(a>0\)，令 \(Y_n=X_n\mathbf1_{\{|X_n|\le a\}}\)。则 \(\sum_nX_n\) 几乎必然收敛到有限值，当且仅当以下三个条件同时成立：
无需预先假设 \(X_n\) 可积，因为 \(Y_n\) 有界。条件 (ii) 指有正负号的实数级数收敛，不要求绝对收敛。只要对某个固定正阈值成立，便得到级数收敛；由必要性，它们也会对每个固定正阈值成立。
由 (iii) 及上一小节，\(\sum_n(Y_n-EY_n)\) 几乎必然收敛。加上 (ii)，得到 \(\sum_nY_n\) 几乎必然收敛。又由 (i) 和第一条 Borel–Cantelli 引理，几乎必然只有有限多个 \(n\) 满足 \(X_n\ne Y_n\)。两级数仅相差有限项，故 \(\sum_nX_n\) 几乎必然收敛。
必要性的范围说明若级数几乎必然收敛，则 \(X_n\to0\) 几乎必然。若 (i) 不成立，第二条 Borel–Cantelli 引理会使 \(|X_n|>a\) 无穷次发生，矛盾，故 (i) 必须成立，并且 \(\sum_nY_n\) 也几乎必然收敛。余下关键步骤是：独立、具有共同确定性界的变量，其级数几乎必然收敛蕴含方差可求和。此处不展开这一必要性引理；文献 [1] 例 3.4.12 用中心极限定理证明它。有了 (iii)，中心化级数收敛，再从 \(\sum_nY_n\) 中相减便得到 (ii)。因此本页完整证明充分性，并明确把方差必要性的技术证明留给该出处。
设 \(\varepsilon_n\) 独立且以相等概率取 \(1,-1\)。对 \(n\ge2\) 及固定 \(\beta\in\mathbb R\)，令 \(X_n=\varepsilon_n/[\sqrt n(\log n)^\beta]\)。其绝对值趋于零，所以取 \(a=1\) 截断时仅有有限个开头的项可能被改动，条件 (i) 成立。对称性给出 \(EY_n=0\)，而方差级数的尾部为
积分检验中作换元 \(u=\log x\)，便把 \(\int dx/[x(\log x)^{2\beta}]\) 化为 \(\int u^{-2\beta}du\)，得到这一边界。若 \(\beta>1/2\)，级数几乎必然且在 \(L^2\) 中收敛。若 \(\beta\le1/2\)，三列定理排除收敛概率为一；收敛事件是尾事件，零一律于是给出其概率为零。
对任何固定 \(\beta\)，当 \(n\) 足够大时 \((\log n)^\beta\le n^{1/4}\)，故 \(|X_n|\ge n^{-3/4}\)。因此绝对值级数总是发散；当 \(\beta>1/2\) 时得到的是几乎必然的条件收敛。
10.2.7 习题与详解
习题 10.2-1 · 交替事件的两个极限
设 \(0<P(A)<1\)，令 \(A_{2n-1}=A\)、\(A_{2n}=A^c\)。求 \(\limsup A_n\)、\(\liminf A_n\)，并判断能否直接使用第二条 Borel–Cantelli 引理的独立形式。
每个 \(\omega\) 恰属于 \(A,A^c\) 中一个。因此它或者落入所有奇数项、或者落入所有偶数项，总会发生无穷次；但另一种奇偶位置永不发生，因而不可能最终总发生。所以 \(\limsup A_n=\Omega\)、\(\liminf A_n=\varnothing\)，指示函数的上、下极限分别为 \(1,0\)。
虽然每对相邻项的概率之和为 \(1\)，故 \(\sum_nP(A_n)=\infty\)，事件并不相互独立：\(P(A_1\cap A_3)=P(A)\ne P(A)^2\)。这里的概率一结论由集合结构直接推出，不能把它归因于未满足前提的独立形式。
习题 10.2-2 · 从依概率收敛中抽出几乎必然收敛子列
若 \(X_n\to X\) 依概率，证明存在严格递增的 \(n_k\)，使 \(X_{n_k}\to X\) 几乎必然。不要假设 \((X_n)\) 独立。
递归选择 \(n_k>n_{k-1}\)，使 \(P(|X_{n_k}-X|>2^{-k})\le2^{-k}\)。这总能做到：每次先固定本次阈值 \(2^{-k}\)，再用依概率收敛寻找足够大的指标。令 \(B_k=\{|X_{n_k}-X|>2^{-k}\}\)，则 \(\sum_kP(B_k)\le1<\infty\)。第一条 Borel–Cantelli 引理给出 \(P(B_k\ \mathrm{i.o.})=0\)。
在其补事件上，存在依赖 \(\omega\) 的 \(K\)，对所有 \(k\ge K\)，有 \(|X_{n_k}(\omega)-X(\omega)|\le2^{-k}\to0\)。所以子列几乎必然收敛。整个证明只使用第一部分，不需要任何独立性。
习题 10.2-3 · 逐路径有限的和，期望却无穷
设 \(B_n\)（\(n\ge2\)）相互独立、\(P(B_n=1)=n^{-2}\)、\(P(B_n=0)=1-n^{-2}\)，令 \(X_n=nB_n\)。证明 \(\sum_{n\ge2}X_n<\infty\) 几乎必然，但均值级数和方差级数均发散；用三列定理核对，并求级数和的期望。
\(\sum_nP(B_n=1)=\sum_nn^{-2}<\infty\)，故第一条 Borel–Cantelli 引理保证只有有限次非零项。每项都有限，所以 \(S=\sum_nX_n<\infty\) 几乎必然。另一方面，\(EX_n=1/n\)、\(EX_n^2=1\)，故 \(\sum_nEX_n=\infty\)，而 \(\sum_n\operatorname{Var}(X_n)=\sum_n(1-n^{-2})=\infty\)。这说明未经截断的矩条件不是一般随机级数收敛的必要条件。
取 \(a=1\)，所有 \(Y_n=X_n\mathbf1_{\{|X_n|\le1\}}\) 都等于零，所以三列定理的 (ii)、(iii) 自动成立，(i) 就是 \(\sum_nn^{-2}<\infty\)。又因各项非负，单调收敛定理给出 \(ES=\lim_N\sum_{n=2}^N1/n=\infty\)。有限随机变量完全可能不可积；这里的部分和也不可能在 \(L^1\) 中收敛到 \(S\)。
习题 10.2-4 · 同时控制全部尾部部分和
设 \(X_n\) 相互独立、\(EX_n=0\)、\(\operatorname{Var}(X_n)=n^{-2}\)。对 \(m\ge2\)、\(\varepsilon>0\)，证明 \(P(\sup_{N\ge m}|\sum_{n=m}^NX_n|>\varepsilon)\le1/[\varepsilon^2(m-1)]\)。若 \(\varepsilon=0.1\)，取怎样的 \(m\) 能把此概率保证在 \(0.05\) 以下或等于 \(0.05\)？
对 \(X_m,\ldots,X_M\) 用最大不等式，越界概率不超过 \(\varepsilon^{-2}\sum_{n=m}^{M}n^{-2}\)。令 \(M\to\infty\)，有限最大值超过 \(\varepsilon\) 的事件递增到所求事件，因此概率不超过 \(\varepsilon^{-2}\sum_{n=m}^{\infty}n^{-2}\)。函数 \(x^{-2}\) 递减，故此尾和不超过 \(\int_{m-1}^{\infty}x^{-2}\,dx=1/(m-1)\)，得到题中上界。
要使该上界不超过 \(\delta\)，取整数 \(m\ge1+\lceil1/(\delta\varepsilon^2)\rceil\) 即可。代入 \(\delta=0.05\)、\(\varepsilon=0.1\)，得到 \(m=2001\) 是一个充分选择。这同时控制所有 \(N\ge m\)，不是对一个预先选定的 \(N\) 单独估计。
关键术语
- 事件上极限：每个时刻之后仍会发生，等价于无穷次发生。
- 事件下极限：从某个时刻起每次都发生。
- Borel–Cantelli 引理：用事件概率级数判断无穷次发生的概率。
- 尾 \(\sigma\) 代数：略去任意有限开头后仍可判断的事件组成的 \(\sigma\) 代数。
- Kolmogorov 零一律：独立序列的尾事件概率只能为零或一。
- 最大不等式：用总方差控制所有部分和的越界概率。
- 中心化：以 \(X_n-EX_n\) 去除各项的确定性均值。
- 三列定理：同时检查大跳跃概率、截断均值和截断方差。
参考文献与延伸阅读
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed. §2.3 的 Borel–Cantelli 引理，§2.5 的零一律、最大不等式与三列定理；方差必要性的证明见例 3.4.12。Duke University 作者版 PDF。
- Polyanskiy, Y. (2018). Fundamentals of Probability, MIT 6.436J / 15.085J. Lecture 19, “Uniform Integrability; Convergence of Series”，第 3 部分讨论独立随机级数，定理 2 给出均值、方差条件及 \(L^2\) 收敛。MIT OpenCourseWare 官方讲义。