10.5.1 有限方差下的弱大数定律
8.2 节与8.4 节已介绍弱、强大数定律的意义。本节使用 10.1 节的收敛方式和 10.2 节的 Borel–Cantelli 引理与随机级数准则，重点证明只要求一阶绝对矩有限的结论。记 \(S_n=\sum_{k=1}^nX_k\)、\(\bar X_n=S_n/n\)。
设 \(X_k\) 两两不相关且平方可积，\(\mu_k=EX_k\)。若 \(V_n=\sum_{k=1}^n\operatorname{Var}(X_k)\) 满足 \(V_n/n^2\to0\)，则 \((S_n-\sum_{k=1}^n\mu_k)/n\to0\) 在 \(L^2\) 中并依概率成立。特别地，若变量独立同分布（independent and identically distributed，iid），均值为 \(\mu\)、方差为 \(\sigma^2<\infty\)，则 \(\bar X_n\to\mu\) 在这两种意义下成立。iid 版本亦见文献 [2] 第 3 部分。
不相关性使中心化变量之间的交叉项期望为零，故平方误差的期望等于 \(V_n/n^2\)。Chebyshev 不等式给出
iid 情形中 \(V_n=n\sigma^2\)，上界为 \(\sigma^2/(n\varepsilon^2)\)。当 \(\sigma^2>0\) 时，这个上界对 \(n\) 不可求和，所以不能直接用第一条 Borel–Cantelli 引理得到强大数定律。上界不可求和只说明这一步估计不够，并不说明几乎必然收敛失败。
10.5.2 Kronecker 引理：从级数到平均值
设 \(0<a_1\le a_2\le\cdots\)、\(a_n\to\infty\)，且实数级数 \(\sum_{k\ge1}x_k/a_k\) 收敛，则
尤其取 \(a_k=k\)，便可把 \(\sum_kx_k/k\) 的收敛转成普通平均值趋于零。这个结论是确定性的，可以在随机级数收敛的每一条样本路径上使用。
令 \(t_n=\sum_{k=1}^nx_k/a_k\to t\)，并设 \(t_0=a_0=0\)。由 \(x_k=a_k(t_k-t_{k-1})\) 展开、重新排列有限和，得到
右侧的权重非负，且和为 \(1\)。给定 \(\varepsilon>0\)，选 \(K\)，使 \(k>K\) 时 \(|t_{k-1}-t|\le\varepsilon\)。令 \(M=\sup_{j\ge0}|t_j-t|<\infty\)。当 \(n>K\) 时，加权平均与 \(t\) 的差的绝对值不超过 \(Ma_K/a_n+\varepsilon\)，其上极限不超过 \(\varepsilon\)。因此加权平均趋于 \(t\)，而 \(t_n\to t\)，两者之差趋于零。这里正是 \(a_n\) 的单调性保证了权重非负。
10.5.3 截断所需的两个可求和估计
从现在起，设 \(X_n\) iid、\(E|X_1|<\infty\)，记 \(W=|X_1|\)。按第 \(n\) 项的指标设置阈值，定义截断变量 \(Y_n=X_n\mathbf1_{\{|X_n|\le n\}}\)。超过阈值时把该项置零；不同的 \(Y_n\) 仍独立，但一般不再同分布。以下两个估计把可积性分别用于控制被改动的项与剩余项的波动。
由 \(W=\int_0^\infty\mathbf1_{\{W>t\}}\,dt\) 和 Tonelli 定理，有 \(EW=\int_0^\infty P(W>t)\,dt\)。尾概率随 \(t\) 递减，在每个单位区间上比较矩形与曲线面积，得到
左式逐项使用 \(P(W>n)\le\int_{n-1}^nP(W>t)\,dt\)；右式把 \([0,1]\) 的积分界为 \(1\)，并对 \([n,n+1]\) 使用 \(P(W>t)\le P(W>n)\)。因此有限一阶矩等价于整数尾概率可求和。尾积分及上述比较式也以扩展实数的意义适用于 \(EW=\infty\)。
上述截断满足
第一步用 \(\operatorname{Var}(Y_n)\le EY_n^2\) 以及同分布性。对任意 \(w\ge0\)，设 \(m(w)=\max\{1,\lceil w\rceil\}\)。由于 \(x^{-2}\) 递减，对每个整数 \(m\ge1\) 有
于是 \(w^2\sum_{n\ge m(w)}n^{-2}\le2w^2/m(w)\le2w\)。非负项允许用 Tonelli 定理换序，因此
这里并未假设 \(EW^2<\infty\)。每一项先截断，随后把全部加权二阶矩的和界在一阶矩之下，这是证明允许无穷方差的原因。
10.5.4 iid 可积强大数定律的完整证明
若 \(X_1,X_2,\ldots\) iid，且 \(E|X_1|<\infty\)，令 \(\mu=EX_1\)，则 \(\bar X_n\to\mu\) 几乎必然。因而也依概率收敛，得到了不要求有限方差的弱大数定律。以下证明使用文献 [1] §2.5的随机级数路线。
同分布性与式 (10.5-4) 给出 \(\sum_nP(X_n\ne Y_n)=\sum_nP(W>n)<\infty\)。第一条 Borel–Cantelli 引理说明几乎必然只有有限多个 \(n\) 满足 \(X_n\ne Y_n\)。所以对几乎每条路径，\(\sum_{k=1}^n(X_k-Y_k)\) 在 \(n\) 足够大时成为一个有限常数，除以 \(n\) 后趋于零。此步骤本身不使用独立性。
第二步 · 中心化截断项的平均趋于零令 \(Z_n=(Y_n-EY_n)/n\)。这些变量独立、中心化、平方可积，而且由式 (10.5-5)，\(\sum_n\operatorname{Var}(Z_n)<\infty\)。因此 10.2.5 节的级数准则给出 \(\sum_nZ_n\) 几乎必然收敛。对其收敛的每条路径，在 Kronecker 引理中取 \(x_n=Y_n-EY_n\)、\(a_n=n\)，便得
由同分布性，\(EY_k=E[X_1\mathbf1_{\{|X_1|\le k\}}]\)。被积函数逐点趋于 \(X_1\)，且绝对值不超过可积的 \(|X_1|\)，故控制收敛定理给出 \(EY_k\to\mu\)。其 Cesàro 平均也趋于 \(\mu\)：给定 \(\varepsilon>0\)，取 \(K\) 使 \(k\ge K\) 时 \(|EY_k-\mu|\le\varepsilon\)，则平均偏差不超过 \(n^{-1}\sum_{k<K}|EY_k-\mu|+\varepsilon\)。最后分解为
前两项的概率一事件取交后仍有概率一，第三项是确定性数列。这就完成证明，没有把趋零的概率误当成逐路径收敛。
设 \(X_n\) iid，密度为 \(f(x)=\tfrac32x^{-5/2}\mathbf1_{\{x\ge1\}}\)。积分给出 \(EX_1=\tfrac32\int_1^\infty x^{-3/2}\,dx=3\)，而 \(EX_1^2=\tfrac32\int_1^\infty x^{-1/2}\,dx=\infty\)。强大数定律仍保证 \(\bar X_n\to3\) 几乎必然；有限方差版的 Chebyshev 证明不适用。
直接核对证明中的量：对整数 \(n\ge1\)，\(P(X_n>n)=n^{-3/2}\)，且
第一式来自 \(\tfrac32\int_1^n x^{-3/2}\,dx\)，第二式来自 \(\tfrac32\int_1^n x^{-1/2}\,dx\)。尾概率可求和、截断期望趋于 \(3\)、加权方差可求和，三步均可单独检查。定理没有因此给出有限的样本均值方差，也没有承诺通常的平方根误差尺度。
10.5.5 独立非同分布变量的充分条件
设 \(X_n\) 相互独立且平方可积，\(\mu_n=EX_n\)。若
则 \(n^{-1}\sum_{k=1}^n(X_k-\mu_k)\to0\) 几乎必然。若另有 \(n^{-1}\sum_{k=1}^n\mu_k\to\mu\)，才进一步得到 \(\bar X_n\to\mu\) 几乎必然。
变量 \((X_n-\mu_n)/n\) 独立、中心化且方差可求和，故由 10.2.5 节，其级数几乎必然收敛。逐路径应用 Kronecker 引理，得到所需中心化平均收敛。然后加上确定性均值的平均即可。
这是充分条件，不能由其失败断言大数定律失败。它特别包含独立变量方差一致有界的情形。更一般地，对正的非减确定性序列 \(a_n\to\infty\)，若 \(\sum_n\operatorname{Var}(X_n)/a_n^2<\infty\)，同一证明给出 \(a_n^{-1}\sum_{k=1}^n(X_k-\mu_k)\to0\) 几乎必然。
设 \(\varepsilon_n\) 独立且以相等概率取 \(1,-1\)，令 \(X_n=1+\tfrac12(-1)^n+n^{1/4}\varepsilon_n\)。此时 \(\mu_n=1+\tfrac12(-1)^n\)、\(\operatorname{Var}(X_n)=\sqrt n\)。变量的均值不收敛，方差也没有共同上界，但 \(\sum_n\operatorname{Var}(X_n)/n^2=\sum_nn^{-3/2}<\infty\)，中心化平均仍几乎必然趋于零。
因为 \(|\sum_{k=1}^n(-1)^k|\le1\)，均值平均与 \(1\) 的差不超过 \(1/(2n)\)，所以 \(\bar X_n\to1\) 几乎必然。有限样本的概率界也可计算：\(V_n=\sum_{k=1}^n\sqrt k\le n^{3/2}\)，从而
估计中分别控制随机波动与确定性均值偏差；不能只检查单个 \(EX_n\) 是否收敛。
10.5.6 可积性与依赖性的边界
若 \(X_n\) iid 且服从标准 Cauchy 分布，密度为 \(1/[\pi(1+x^2)]\)，则 \(E|X_1|=\infty\)，正、负部分期望也都无穷，不能把对称中心 \(0\) 写成 \(EX_1\)。它的特征函数是 \(\varphi(t)=e^{-|t|}\)，见文献 [1] 例 3.3.16。由独立性，\(\varphi_{\bar X_n}(t)=\varphi(t/n)^n=e^{-|t|}\)，所以平均后分布完全不变。特别地，对每个 \(\varepsilon>0\)，
它不依概率趋于 \(0\)，也不能趋于任何其他常数，因为每个平均值都保留同一个非退化分布。增加样本数没有让此分布集中。
在 iid 情形，可积性对有限的几乎必然极限还是必要的，参见文献 [3]。若 \(E|X_1|=\infty\)，由式 (10.5-4) 得 \(\sum_nP(|X_n|>n)=\infty\)。事件独立，第二条 Borel–Cantelli 引理说明 \(|X_n|/n>1\) 几乎必然无穷次发生。但如果 \(\bar X_n\) 在某条路径上有有限极限，则
产生矛盾。因此不可积 iid 样本的均值几乎必然不会有有限极限。这一必要性结论不能直接套到弱大数定律上；依概率收敛的条件允许另作研究。
令 \(Z\) 以相等概率取 \(1,-1\)，并令所有 \(X_n=Z\)。各项同分布、有界且均值为零，但 \(\bar X_n=Z\) 对所有 \(n\) 都成立，故 \(P(|\bar X_n|>1/2)=1\)。此时 \(\operatorname{Cov}(X_i,X_j)=1\)，总和方差为 \(n^2\)，而非 \(n\)。有限矩加同分布不能替代控制依赖的条件。
这也不表示一切依赖都会破坏大数定律。譬如两两不相关已经足够支持本节第一小节的方差证明；平稳过程还可用遍历定理研究时间平均。此处的截断与级数证明使用相互独立，若换成别的依赖条件，需检查相应论证能否继续成立。
10.5.7 习题与详解
习题 10.5-1 · Kronecker 引理的逆命题是否成立？
取 \(x_n=1/\log(n+1)\)。证明 \(n^{-1}\sum_{k=1}^nx_k\to0\)，但 \(\sum_nx_n/n\) 发散，并说明这对随机级数方法的使用有什么限制。
\(x_n\to0\)。给定 \(\varepsilon>0\)，选 \(K\) 使 \(k\ge K\) 时 \(x_k\le\varepsilon\)，则 \(n^{-1}\sum_{k=1}^nx_k\le n^{-1}\sum_{k<K}x_k+\varepsilon\)，所以平均趋于零。另一方面，对 \(n\ge2\)，\(\log(n+1)\le2\log n\)，于是 \(x_n/n\ge1/(2n\log n)\)。后者由 \(\int_2^Rdx/(x\log x)=\log\log R-\log\log2\to\infty\) 知其级数发散。
因此 Kronecker 引理不能反向使用。加权级数收敛是一条证明平均值收敛的充分路径；无法证明该级数收敛，并不意味着平均值不收敛。
习题 10.5-2 · 可积样本的最大项小于线性尺度
设 \(X_n\) iid 且 \(E|X_1|<\infty\)。证明 \(\max_{1\le k\le n}|X_k|/n\to0\) 几乎必然，并指出这个证明是否使用独立性。
对固定 \(\varepsilon>0\)，将式 (10.5-4) 用于 \(|X_1|/\varepsilon\)，得到 \(\sum_nP(|X_n|>\varepsilon n)\le E|X_1|/\varepsilon<\infty\)。第一条 Borel–Cantelli 引理给出几乎必然最终有 \(|X_n|/n\le\varepsilon\)。对可数阈值 \(\varepsilon=1/r\) 取概率一事件的交，就有 \(|X_n|/n\to0\) 几乎必然。
固定这样的路径与 \(\varepsilon\)，取 \(K\ge2\) 使 \(k\ge K\) 时 \(|X_k|\le\varepsilon k\)。于是 \(\max_{k\le n}|X_k|/n\le n^{-1}\max_{k<K}|X_k|+\varepsilon\)，前项趋于零，再令 \(\varepsilon\downarrow0\) 即得结论。这里只用同分布、可积性及第一条 Borel–Cantelli 引理，没有使用独立性。
习题 10.5-3 · 独立且均值相同，仍可能不能平均到均值
设 \(B_n\) 独立、\(P(B_n=1)=n^{-2}\)、\(P(B_n=0)=1-n^{-2}\)，令 \(X_n=n^2B_n\)。求 \(EX_n\)、\(\operatorname{Var}(X_n)\)，并证明 \(\bar X_n\to0\) 几乎必然，而中心化平均趋于 \(-1\)。
\(EX_n=1\)、\(EX_n^2=n^2\)，故 \(\operatorname{Var}(X_n)=n^2-1\)。又 \(\sum_nP(B_n=1)<\infty\)，第一条 Borel–Cantelli 引理说明几乎必然只有有限个非零项。因此 \(S_n\) 逐路径最终是有限常数，\(\bar X_n\to0\)，从而 \(n^{-1}\sum_{k=1}^n(X_k-EX_k)=\bar X_n-1\to-1\)。
各项虽独立且可积，但不同分布；iid 强大数定律不能套用。方差条件也确实失败：\(\sum_n\operatorname{Var}(X_n)/n^2=\sum_n(1-n^{-2})=\infty\)。这里失败由直接计算的极限证明，而不是仅由充分条件不满足推断。
习题 10.5-4 · iid 可积样本均值也在 \(L^1\) 中收敛
在 iid 可积强大数定律的条件下，不借助“几乎必然收敛蕴含期望收敛”这一错误说法，证明 \(E|\bar X_n-\mu|\to0\)。提示：这次对所有变量使用同一个固定阈值 \(M\)。
令 \(U_k^{(M)}=X_k\mathbf1_{\{|X_k|\le M\}}\)，\(\mu_M=EU_1^{(M)}\)。独立性及 Cauchy–Schwarz 不等式给出 \(E|n^{-1}\sum_{k=1}^nU_k^{(M)}-\mu_M|\le\sqrt{\operatorname{Var}(U_1^{(M)})/n}\)。对尾部用三角不等式，得
\(E|\bar X_n-\mu|\le\sqrt{\operatorname{Var}(U_1^{(M)})/n}+2E[|X_1|\mathbf1_{\{|X_1|>M\}}]\)。其中一个尾项来自样本均值的截断误差，另一个来自 \(|\mu_M-\mu|\)。
先固定 \(M\)，令 \(n\to\infty\)，第一项消失；再令 \(M\to\infty\)，可积性使尾期望趋于零。这证明了 \(L^1\) 收敛。只有一阶矩条件时，若先去掉截断，平方误差可能已经无穷，以上估计便不再有用。
关键术语
- 弱大数定律：中心化平均依概率趋于零的结论。
- 强大数定律：平均值的逐路径、几乎必然收敛结论。
- 可积性：\(E|X|<\infty\)，保证有限的 Lebesgue 期望。
- 尾积分与尾和：用尾概率的面积或级数判断一阶矩是否有限。
- 截断：在证明中将超出给定阈值的项置零。
- Kronecker 引理：从归一化项的级数收敛推出归一化部分和趋零。
- Cesàro 平均：收敛数列的前若干项平均具有相同极限。
- Kolmogorov 方差条件：独立变量的加权方差可求和这一强大数定律充分条件。
参考文献与延伸阅读
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed. §2.2 讨论弱大数定律；引理 2.4.2–2.4.4 处理截断；定理 2.5.9、2.5.10 给出 Kronecker 引理和随机级数证明；Cauchy 特征函数见例 3.3.16。Duke University 作者版 PDF。
- Polyanskiy, Y. (2018). Fundamentals of Probability, MIT 6.436J / 15.085J. Lecture 17, “Laws of Large Numbers and Central Limit Theorem”，第 3 部分给出有限方差及可积情形的弱大数定律。MIT 官方讲义 17。
- Polyanskiy, Y. (2018). 同一课程 Lecture 18, “Laws of Large Numbers II”，第 1 部分讨论强大数定律及可积性的必要性。其证明路线可与本页的随机级数方法对照。MIT 官方讲义 18。