设 \(X_n,X\) 是实值随机变量。说“\(X_n\) 趋于 \(X\)”之前，需要确定比较什么：固定样本点上的数值、偏差超过阈值的概率、偏差的矩，还是分布函数。前三种比较要求随机变量定义在同一概率空间 \((\Omega,\mathcal F,P)\) 上；依分布收敛只比较各自的分布，允许随机变量位于不同概率空间。
10.1.1 四种收敛的精确定义
几乎必然收敛（almost sure convergence），记作 \(X_n\xrightarrow{\mathrm{a.s.}}X\)，是指
即存在同一个概率为一的事件，在它上面对每个 \(\varepsilon>0\)，都有 \(N=N(\omega,\varepsilon)\)，使所有 \(n\ge N\) 满足 \(|X_n(\omega)-X(\omega)|<\varepsilon\)。只检查 \(\varepsilon=1/m\)、\(m\ge1\) 已足够，因而这个收敛事件可测。
依概率收敛（convergence in probability），记作 \(X_n\xrightarrow{P}X\)，是指
\(L^p\) 收敛（convergence in \(L^p\)），也称 \(p\) 次均值收敛。本节固定 \(1\le p<\infty\)，要求 \(X_n,X\in L^p(P)\)，并定义
依分布收敛（convergence in distribution），记作 \(X_n\xrightarrow{d}X\)，是指对 \(X\) 的分布函数 \(F\) 的每个连续点 \(x\)，
定义中的“连续点”不能删去。例如确定性变量 \(X_n=1/n\) 依分布收敛到 \(0\)，但在极限分布的跳跃点 \(x=0\)，始终有 \(F_n(0)=0\)，而 \(F(0)=1\)。在实数轴上，依分布收敛也称分布测度的弱收敛；10.3 节将用有界连续函数给出等价刻画。
| 方式 | 直接控制的对象 | 是否需要共同概率空间 |
|---|---|---|
| 几乎必然收敛 | 除零概率集合外，每一条样本序列的极限 | 需要 |
| 依概率收敛 | 每个固定误差阈值对应的超限概率 | 需要 |
| \(L^p\) 收敛 | 绝对误差的 \(p\) 阶矩 | 需要 |
| 依分布收敛 | 边缘分布在连续点处的极限 | 不需要 |
10.1.2 基本蕴含关系及其证明
在同一概率空间上，\(X_n\xrightarrow{\mathrm{a.s.}}X\) 或 \(X_n\xrightarrow{L^p}X\)，均能推出 \(X_n\xrightarrow{P}X\)。此外，若 \(1\le q\le p<\infty\)，则 \(L^p\) 收敛推出 \(L^q\) 收敛。
证明。若几乎必然收敛，固定 \(\varepsilon>0\)，则 \(\mathbf1_{\{|X_n-X|>\varepsilon\}}\to0\) 几乎必然。这些指示函数不超过可积常数 \(1\)，由 9.3 节的控制收敛定理，它们的期望趋于零，即所需的超限概率趋于零。
若 \(L^p\) 收敛，对非负变量 \(|X_n-X|^p\) 应用 Markov 不等式：
最后，对凹函数 \(t^{q/p}\) 使用 Jensen 不等式，得到
同一不等式也保证 \(L^p(P)\subseteq L^q(P)\)，故 \(L^q\) 定义中的可积性条件满足。这一步使用了 \(P(\Omega)=1\)；一般无限测度空间没有这个包含关系。证毕。
10.1.3 依概率收敛的几乎必然子列
\(X_n\xrightarrow{P}X\) 当且仅当：每一条子列 \(X_{n_j}\) 都能再抽出一条子列，几乎必然收敛到 \(X\)。特别地，原序列至少有一条这样的子列。这里的下标都是预先确定的整数，不随样本点变化。
正向证明。先从原序列抽取。由依概率收敛，可以递归选择严格递增的整数 \(n_k\)，使
记超限事件为 \(A_k=\{|X_{n_k}-X|>2^{-k}\}\)。对每个 \(m\)，概率的次可加性给出并集上界：
这些尾部并集随 \(m\) 递减，故测度的上连续性给出 \(P(\bigcap_m\bigcup_{k\ge m}A_k)=0\)。因此几乎每个样本点只属于有限多个 \(A_k\)，之后都有 \(|X_{n_k}-X|\le2^{-k}\)，从而 \(X_{n_k}\to X\)。原序列的每一条子列仍然依概率收敛到 \(X\)，同样的选择方法适用于它。
反向证明。若原序列不依概率收敛，则存在 \(\varepsilon,\delta>0\) 和一条子列 \(X_{n_j}\)，使每个 \(j\) 都有 \(P(|X_{n_j}-X|>\varepsilon)\ge\delta\)。按照假设，再抽一条几乎必然收敛到 \(X\) 的子列；命题 10.1.1 又使它依概率收敛，与概率下界矛盾。证毕。
定理中的“每一条子列”不能换成“存在一条子列”。它也不声称整个序列几乎必然收敛：所抽出的下标可能跳过大量反复偏离极限的项。
10.1.4 从依概率到依分布，以及常数极限
若 \(X_n\xrightarrow{P}X\)，则 \(X_n\xrightarrow{d}X\)。
证明。固定实数 \(x\) 与 \(\varepsilon>0\)，记 \(r_n=P(|X_n-X|>\varepsilon)\)。在误差不超过 \(\varepsilon\) 的事件上，\(X\le x-\varepsilon\) 推出 \(X_n\le x\)，而 \(X_n\le x\) 推出 \(X\le x+\varepsilon\)。于是
先令 \(n\to\infty\)，得 \(F(x-\varepsilon)\le\liminf_nF_n(x)\le\limsup_nF_n(x)\le F(x+\varepsilon)\)。若 \(x\) 是 \(F\) 的连续点，再令 \(\varepsilon\downarrow0\)，两端都趋于 \(F(x)\)，所以 \(F_n(x)\to F(x)\)。这恰好覆盖依分布收敛所要求的全部点。证毕。
若 \(c\in\mathbb R\) 为常数，则 \(X_n\xrightarrow{d}c\) 当且仅当 \(X_n\xrightarrow{P}c\)。
证明。只需证反向。固定 \(\varepsilon>0\)，常数 \(c\) 的分布函数在 \(c-\varepsilon\) 与 \(c+\varepsilon\) 都连续，取值分别为 \(0\) 和 \(1\)。因此
证毕。这里无需知道 \(X_n\) 之间是否独立。
令 \(P(X=1)=P(X=-1)=1/2\)，并在同一空间定义 \(X_n=(-1)^nX\)。每个 \(X_n\) 都与 \(X\) 同分布，故 \(X_n\xrightarrow{d}X\)。然而奇数 \(n\) 时 \(P(|X_n-X|>1)=1\)，偶数时为 \(0\)，所以不依概率收敛到 \(X\)。依分布收敛没有规定 \(X_n\) 与 \(X\) 的联合分布；共同概率空间的存在本身也不能补足这一条件。
10.1.5 超限概率很小，仍可无穷次偏离
取 \(U\sim U[0,1)\)。把每个 \(n\ge1\) 唯一写成 \(n=2^k+j\)，其中 \(k\ge0\)、\(0\le j<2^k\)，并令
第 \(k\) 组依次遍历把 \([0,1)\) 等分得到的 \(2^k\) 个半开区间。若 \(0<\varepsilon<1\)，则
因此 \(T_n\xrightarrow{P}0\)，且对每个有限 \(p\ge1\) 都有 \(T_n\xrightarrow{L^p}0\)。但固定任意 \(u\in[0,1)\)，每一组中恰有一项等于 \(1\)，从 \(k\ge1\) 起也有项等于 \(0\)，所以 \(\limsup_n T_n(u)=1\)、\(\liminf_n T_n(u)=0\)。整个序列在任何这样的样本点上都不收敛。区间端点采用半开形式，保证边界点也恰好属于一段。
取相互独立的 Bernoulli 变量 \(B_n\)，\(P(B_n=1)=1/n\)，\(n\ge2\)。对 \(0<\varepsilon<1\)，超限概率为 \(P(|B_n|>\varepsilon)=1/n\)，故 \(B_n\xrightarrow{P}0\)。对固定 \(N\ge2\) 和 \(m\ge N\)，独立性给出
由事件的上连续性，\(P(B_n=0\text{ 对所有 }n\ge N)=0\)。再对 \(N\) 取可数并，得到“最终一直为零”的概率为零。由于取值只有 \(0,1\)，趋于零等价于最终一直为零，所以 \(P(B_n\to0)=0\)。这里反复偏离的原因通过独立乘积算出；下一节将把这种计算推广为事件无穷次发生的判据。
10.1.6 几乎必然极限不能无条件交换矩
仍取 \(U\sim U[0,1)\)。给定 \(a,b>0\)，定义 \(Y_n=n^a\mathbf1_{\{U<n^{-b}\}}\)。对每个 \(u>0\)，区间最终缩到 \(u\) 左侧，因此 \(Y_n(u)\) 最终为零。唯一例外 \(u=0\) 的概率为零，故 \(Y_n\xrightarrow{\mathrm{a.s.}}0\)，也依概率和依分布收敛到零。
每个 \(Y_n\) 都有全部有限阶矩，但对固定 \(1\le p<\infty\)，
于是 \(ap<b\) 时才有 \(Y_n\xrightarrow{L^p}0\)；\(ap=b\) 时这个矩恒为 \(1\)；\(ap>b\) 时它趋于无穷。取 \(a=b=1\)，便得到 \(Y_n\to0\) 几乎必然而 \(EY_n=1\) 的例子。由此，几乎必然收敛不推出 \(L^1\) 收敛，也不能单独保证均值收敛；同样不能仅凭依分布收敛交换矩。
加入可积控制后可以得到正向结论。若 \(X_n\to X\) 几乎必然，且有非负可测的 \(G\)，使 \(|X_n|\le G\) 几乎必然、\(EG^p<\infty\)，那么取极限得 \(|X|\le G\)，并且 \(|X_n-X|^p\le2^pG^p\)。控制收敛定理遂给出 \(L^p\) 收敛。另一方面，\(L^1\) 收敛本身就保证 \(|EX_n-EX|\le E|X_n-X|\to0\)。更一般的积分换序条件见 9.5 节的一致可积性。
10.1.7 习题与解答
习题 10.1-1 依概率极限的唯一性
题目。在同一概率空间上，若 \(X_n\xrightarrow{P}X\) 且 \(X_n\xrightarrow{P}Y\)，证明 \(X=Y\) 几乎必然。为什么“依分布极限相同”不能直接得到这一结论？
解答。对每个 \(\varepsilon>0\)，三角不等式给出
左边与 \(n\) 无关，故等于零。又有 \(\{X\ne Y\}=\bigcup_{m\ge1}\{|X-Y|>1/m\}\)，可数并的概率仍为零。依分布收敛只能确定极限的分布，不能确定两个变量在同一空间上的对应关系。例如对称的两点变量 \(X\) 与 \(-X\) 分布相同，却处处不相等。
习题 10.1-2 平滑尖峰的均值与收敛方式
题目。设 \(U\sim U[0,1]\)，令 \(Z_n=nU^n\)。判断它是否几乎必然、依概率、依分布及在 \(L^p\) 中收敛到零，其中 \(1\le p<\infty\)。计算 \(EZ_n\) 的极限。
解答。对 \(0<u<1\)，\(n u^n=\exp(\log n+n\log u)\to0\)，在 \(u=0\) 也趋于零；\(u=1\) 是零概率例外。因此 \(Z_n\to0\) 几乎必然，并由蕴含关系得到依概率和依分布收敛。另一方面，
\(p=1\) 时矩趋于 \(1\)，\(p>1\) 时它渐近于 \(n^{p-1}/p\)，趋于无穷。所以对题目中任何 \(p\) 都没有 \(L^p\) 收敛到零。特别地，\(EZ_n=n/(n+1)\to1\)，与极限变量的期望 \(0\) 不同。
习题 10.1-3 有一条几乎必然收敛子列够不够
题目。令确定性随机变量 \(W_{2k}=0\)、\(W_{2k-1}=1\)。它有几乎必然收敛到零的子列吗？原序列是否依概率或依分布收敛到零？指出子列刻画中哪个量词不满足。
解答。偶数项子列恒等于零，当然几乎必然收敛到零。但 \(P(|W_n|>1/2)\) 在奇数项为 \(1\)，偶数项为 \(0\)，不趋于零，因此原序列不依概率收敛到零。在 \(x=1/2\) 处，\(F_n(x)\) 也在 \(0,1\) 间交替，而该点是常数零的分布函数的连续点，故不依分布收敛到零。取全体奇数项这一子列，它的任何再抽子列都恒为 \(1\)，无法趋于零；“每一条子列”这一要求因此失败。
习题 10.1-4 统一有界加依概率收敛
题目。设 \(X_n\xrightarrow{P}X\)，并且存在有限常数 \(M\)，使 \(|X_n|,|X|\le M\) 几乎必然。证明对每个 \(1\le p<\infty\)，都有 \(X_n\xrightarrow{L^p}X\)。这个结论是否也保证几乎必然收敛？
解答。所有变量都属于 \(L^p(P)\)。固定 \(\varepsilon>0\)，把误差按是否超过 \(\varepsilon\) 分开：
先令 \(n\to\infty\)，得到该期望的上极限至多为 \(\varepsilon^p\)；再令 \(\varepsilon\downarrow0\)，得到 \(L^p\) 收敛。它不保证几乎必然收敛：例 10.1.1 的 \(T_n\) 满足统一界 \(1\)，且依概率收敛到零，但在每个样本点上都不断出现 \(0\) 和 \(1\)。
关键术语
- 共同概率空间：允许比较两个随机变量在同一个样本点上的取值。
- 几乎必然收敛：除一个零概率集合外，样本序列逐点收敛。
- 依概率收敛：每个固定正阈值的超限概率趋于零。
- \(L^p\) 收敛：绝对误差的 \(p\) 阶矩趋于零。
- 依分布收敛：分布函数在极限分布的全部连续点处收敛。
- 子列刻画：依概率收敛等价于每条子列都含收敛到同一极限的几乎必然子列。
- 常数极限：依分布收敛可以推出依概率收敛的特例。
- 矩的交换：极限与期望或高阶矩换序需要额外的积分控制。
参考文献
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed., §2.2、定理 2.3.2、§3.2：依概率收敛、几乎必然子列与弱收敛。作者提供的教材版本。
- Polyanskiy, Y. (2018). MIT 6.436J, Lecture 16, Convergence of Random Variables：收敛方式、蕴含关系与反例。MIT OpenCourseWare 讲义页。