大数定律控制样本均值的极限，本节研究它围绕均值的波动。先从有限二阶矩严格推出特征函数的二阶展开，再证明独立同分布的中心极限定理；三角阵把同样的思路用于不同大小的独立项。最后区分“存在正态极限”与“已知有限样本误差界”。以下 \(\Phi\) 表示标准正态分布函数。
10.6.1 二阶矩如何控制 Taylor 余项
若 \(EZ=0\)、\(EZ^2=1\)，则当 \(t\to0\) 时，
证明。对实数 \(u\)，由两次积分的 Taylor 公式，令
利用 \(|1-e^{iw}|\le\min\{|w|,2\}\)，得到 \(|r(u)|\le\min\{|u|^3/6,u^2\}\)。定义 \(h(u)=r(u)/u^2\)（\(u\ne0\)），置 \(h(0)=0\)。于是 \(h(u)\to0\) 且 \(|h(u)|\le1\)。因此
最后一步对实部、虚部分别用控制收敛：被积函数逐点趋于零，绝对值不超过可积的 \(Z^2\)。再代入 \(EZ=0,EZ^2=1\)，即得展开。若直接把三阶 Taylor 界取期望，会要求尚未假设存在的 \(E|Z|^3\)；这里的统一二次界避免了这一问题。证毕。
10.6.2 独立同分布 CLT 的完整证明
设 \(X_1,X_2,\ldots\) 独立同分布（iid），\(EX_1=\mu\)，\(0<\sigma^2=\operatorname{Var}(X_1)<\infty\)。令 \(S_n=\sum_{j=1}^nX_j\)，则
不要求密度存在，也不要求三阶矩有限。方差为零时，各项几乎必然等于 \(\mu\)，上述标准化因分母为零而不适用。
证明。令 \(Z_j=(X_j-\mu)/\sigma\)。独立性把和的特征函数化为乘积，同分布使各因子相同。由引理 10.6.1，对每个固定 \(t\)，
这里也允许括号中的余项为复数：若 \(b_n=-t^2/(2n)+o(n^{-1})\)，取 \(1\) 附近的复对数展开 \(\log(1+b_n)=b_n+O(|b_n|^2)\)，则 \(n\log(1+b_n)\to-t^2/2\)。极限 \(e^{-t^2/2}\) 是标准正态特征函数且在零点连续，由 Lévy 连续性定理得到弱收敛。证毕。
CLT 给出分布极限，并未仅凭二阶矩给出统一的 \(n^{-1/2}\) 误差常数。三阶绝对矩的用途将在第 10.6.6 部分出现。
10.6.3 Cramér–Wold 与多元 CLT
对 \(\mathbb R^d\) 中的随机向量，\(U_n\Rightarrow U\) 当且仅当对每个固定 \(a\in\mathbb R^d\)，都有 \(a^{\mathsf T}U_n\Rightarrow a^{\mathsf T}U\)。需要检验所有线性投影，单独的坐标边缘收敛不够。
证明。正向是连续映射定理。反向中，坐标收敛保证各坐标的分布序列紧，由并集概率界可得向量序列紧。任取一条子列，再抽取弱极限为 \(W\) 的子列。连续映射表明每个 \(a^{\mathsf T}W\) 与 \(a^{\mathsf T}U\) 同分布，因此 \(Ee^{ia^{\mathsf T}W}=Ee^{ia^{\mathsf T}U}\) 对所有 \(a\) 成立。多元特征函数的唯一性给出 \(W\) 与 \(U\) 同分布；由 紧性与子列极限唯一性，原序列弱收敛。证毕。
若 iid 随机向量 \(V_j\in\mathbb R^d\) 满足 \(EV_j=m\)、\(E\|V_j\|^2<\infty\)，协方差矩阵为 \(\Sigma\)，则
证明。固定 \(a\)，标量 \(a^{\mathsf T}(V_j-m)\) 独立同分布、均值为零、方差为 \(a^{\mathsf T}\Sigma a\)。该方差为正时应用一维 CLT；等于零时投影几乎必然为零，也收敛到相应退化正态分布。所有投影极限正好对应 \(N_d(0,\Sigma)\)，故用 Cramér–Wold 判据即可。证毕。
同一个向量内的坐标无需独立；\(\Sigma\) 也可以奇异，此时极限可能集中在低维子空间，没有全空间上的密度。未知方差的替代还需 Slutsky 定理：若 \(\widehat\sigma_n\xrightarrow{P}\sigma>0\)，则 \(\sqrt n(\overline X_n-\mu)/\widehat\sigma_n\Rightarrow N(0,1)\)，不要求这个标准差估计量与均值独立。分母为零时可把比值定义为零，该事件的概率趋于零。
10.6.4 三角阵与 Lindeberg 条件
对每个 \(n\)，取行内相互独立的中心化变量 \(X_{n,1},\ldots,X_{n,m_n}\)，各项方差有限。不同的行无需独立，也不要求行内同分布。设
归一化后的目标是 \(\sum_kY_{n,k}\Rightarrow N(0,1)\)；不另外要求 \(s_n\to\infty\)。
在上述行内独立、中心化与方差归一化条件下，如果对每个 \(\varepsilon>0\)，
则 \(\sum_kY_{n,k}\Rightarrow N(0,1)\)。条件控制的是超出固定标准化阈值后的总二阶矩贡献。
证明。先把每项二阶矩按阈值拆开，得到 \(\max_kv_{n,k}\le\varepsilon^2+L_n(\varepsilon)\)。先令 \(n\to\infty\)，再令 \(\varepsilon\downarrow0\)，可知最大方差占比趋于零。
固定 \(t\)，继续使用第 10.6.1 部分的 \(r,h\)，并记 \(\eta(a)=\sup_{|u|\le a}|h(u)|\)，则 \(\eta(a)\to0\)。分割小项与大项可得
记 \(b_{n,k}=Ee^{itY_{n,k}}-1\)。中心化与 \(|e^{iu}-1-iu|\le u^2/2\) 给出 \(|b_{n,k}|\le t^2v_{n,k}/2\)，所以 \(\max_k|b_{n,k}|\to0\)、\(\sum_k|b_{n,k}|\le t^2/2\)，从而 \(\sum_k|b_{n,k}|^2\to0\)。二阶展开与对数展开于是给出
对数在 \(1\) 附近统一选取，误差由常数倍的 \(\sum_k|b_{n,k}|^2\) 控制。行内独立性使和的特征函数等于各因子的乘积，故其极限为 \(e^{-t^2/2}\)。再用 Lévy 连续性定理即得结论。证毕。
10.6.5 Lyapunov、Feller 与逆向边界
| 名称 | 归一化后的陈述 | 作用 |
|---|---|---|
| Lyapunov 条件 | 存在 \(\delta>0\)，使 \(\sum_kE|Y_{n,k}|^{2+\delta}\to0\) | 足以推出 Lindeberg |
| Lindeberg 条件 | 每个 \(\varepsilon>0\) 都有 \(L_n(\varepsilon)\to0\) | 足以推出标准正态极限 |
| Feller 方差条件 | \(\max_kv_{n,k}\to0\) | 排除单项占有固定比例方差；单独不充分 |
Lyapunov 条件也可写为 \(s_n^{-(2+\delta)}\sum_kE|X_{n,k}|^{2+\delta}\to0\)。它推出 Lindeberg 的理由是阈值上 \(|Y|^2\le\varepsilon^{-\delta}|Y|^{2+\delta}\)，所以
Lindeberg 推出 Feller 的方差分拆已在上节证明。它们一般不能反向替换；特别是仅有有限二阶矩的 iid 变量未必有任何 \(2+\delta\) 阶矩。
保持行内独立、中心化、\(\sum_kv_{n,k}=1\)，再假设 \(\max_kv_{n,k}\to0\)。此时 \(\sum_kY_{n,k}\Rightarrow N(0,1)\) 与 Lindeberg 条件等价。
必要性证明。取固定 \(t=1\)，仍记 \(b_{n,k}=Ee^{iY_{n,k}}-1\)。Feller 条件使 \(\max_k|b_{n,k}|\to0\)、\(\sum_k|b_{n,k}|^2\to0\)。若行和趋于标准正态，则其特征函数在 \(1\) 处趋于 \(e^{-1/2}\)。对模长取对数，得到
令 \(q(y)=y^2/2-1+\cos y\)，由总方差等于 \(1\)，上式等价于 \(\sum_kEq(Y_{n,k})\to0\)。对每个 \(y\ne0\)，有 \(1-\cos y<y^2/2\)；而 \(q(y)/y^2\to1/2\) 当 \(|y|\to\infty\)。因此对任意 \(\varepsilon>0\)，连续性保证 \(c_\varepsilon:=\inf_{|y|\ge\varepsilon}q(y)/y^2>0\)。于是 \(L_n(\varepsilon)\le c_\varepsilon^{-1}\sum_kEq(Y_{n,k})\to0\)。充分性已证，故等价关系成立。
令一行中的 \(B_{n,k}\) 独立且服从 \(\operatorname{Bernoulli}(1/n)\)，\(1\le k\le n\)、\(n\ge2\)。取 \(X_{n,k}=B_{n,k}-1/n\)。此时 \(s_n^2=1-1/n\)、\(v_{n,k}=1/n\)，故 Feller 成立。但对固定 \(0<\varepsilon<1\)，充分大的 \(n\) 有 \(L_n(\varepsilon)=1-1/n\to1\)，Lindeberg 失败。标准化行和的特征函数为
故极限为 \(\operatorname{Poisson}(1)-1\)，并非正态。各项方差虽小，取值约为 \(1\) 的稀疏跳跃仍贡献了几乎全部二阶矩。
设 \(\xi_1,\xi_2,\ldots\) 独立且以相等概率取 \(\pm1\)，考察 \(\sum_{k=1}^n k\xi_k\)。令 \(X_{n,k}=k\xi_k\)，则
对任意固定 \(\varepsilon>0\)，充分大的 \(n\) 使所有 \(|Y_{n,k}|\le\varepsilon\)，故 \(L_n(\varepsilon)\) 直接等于零。也可检验 \(\delta=2\) 的 Lyapunov 条件：\(\sum_kE|Y_{n,k}|^4=\sum k^4/(\sum k^2)^2\sim9/(5n)\to0\)。因此 \(\sum k\xi_k/s_n\Rightarrow N(0,1)\)，等价地 \(\sqrt3\,n^{-3/2}\sum k\xi_k\Rightarrow N(0,1)\)。不同的行共用 \(\xi_k\) 不影响行内独立性。
10.6.6 Berry–Esseen：三阶绝对矩与误差界
除 iid CLT 的条件外，再假设 \(\rho=E|X_1-\mu|^3<\infty\)。则
这里使用 Shevtsova（2011）给出的可用通用常数 \(0.4748\)。这是 iid 情形的统一 CDF 误差界，不能把这个常数直接用于任意非同分布三角阵。
本节引用该定量定理；从特征函数差得到 CDF 差的平滑不等式以及常数优化不在此展开，证明资料见 Durrett §3.4.4 与 Shevtsova 原文。若 \(\rho=\infty\)，这条有限误差界不适用，但有限方差的 iid CLT 仍可能成立。
取 \(X_j\sim\operatorname{Bernoulli}(p)\) iid，\(p=0.2\)，\(n=400\)。则 \(S_n\sim B(400,0.2)\)，均值 \(80\)、标准差 \(8\)，所以 \(P(S_n\le88)\) 的直接正态近似为 \(\Phi(1)\approx0.84134\)。为量化误差，记 \(q=1-p\)，计算
故对当前阈值的误差不超过 \(0.4748\times1.7/\sqrt{400}=0.040358\)。精确二项和 \(\sum_{k=0}^{88}\binom{400}{k}0.2^k0.8^{400-k}\approx0.85570\)，实际误差约 \(0.01436\)，确实在界内。这里直接比较标准化阈值 \(1\) 与 \(\Phi(1)\)，没有加入连续性修正；上界适用于全部实数阈值，未声称在每一处都达到。
10.6.7 习题与解答
习题 10.6-1 只有二阶矩的 CLT
题目。对 \(j\ge1\)，令 \(P(X=2^j)=P(X=-2^j)=1/(2j^2\,4^j)\)，其余概率放在零点。证明 iid 复制的标准化和满足 CLT，但任何正阶的 Lyapunov 高阶矩条件以及本节 Berry–Esseen 界都不能直接使用。
解答。非零点总概率为 \(\sum_{j\ge1}1/(j^2\,4^j)<\sum_{j\ge1}4^{-j}=1/3\)，所以确实定义了概率分布。对称性与 \(E|X|=\sum_j1/(j^2\,2^j)<\infty\) 给出 \(EX=0\)，且
因此 \(S_n/(\pi\sqrt{n/6})\Rightarrow N(0,1)\)。所有 \(2+\delta\) 阶矩都无穷，Lyapunov 条件无法满足；三阶绝对矩也无穷，不能使用上述有限 Berry–Esseen 误差界。这些较强矩条件并非 iid CLT 的必要条件。
习题 10.6-2 奇异协方差的多元极限
题目。令 \(\xi_i\) iid 且等概率取 \(\pm1\)，\(V_i=(\xi_i,\xi_i)^{\mathsf T}\)。求 \(n^{-1/2}\sum_iV_i\) 的极限分布，并说明是否存在二维密度。
解答。均值向量为零，协方差为 \(\Sigma=\begin{pmatrix}1&1\\1&1\end{pmatrix}\)。对 \(a=(a_1,a_2)^{\mathsf T}\)，投影为 \((a_1+a_2)\xi_i\)，故标准化投影趋于 \(N(0,(a_1+a_2)^2)\)，当 \(a_1+a_2=0\) 时恒为零。Cramér–Wold 给出向量极限为 \((Z,Z)^{\mathsf T}\)，其中 \(Z\sim N(0,1)\)。其质量全部位于直线 \(x_1=x_2\)，该直线的二维勒贝格测度为零，所以不存在二维勒贝格密度。
习题 10.6-3 正态行和是否必有 Feller 条件
题目。每行令 \(X_{n,1}\sim N(0,1)\)，其余 \(X_{n,k}=0\)，\(2\le k\le n\)。判断行和的 CLT、Feller 与 Lindeberg 条件是否成立。
解答。常数变量与第一项独立，行内独立的前提成立。总方差为 \(1\)，标准化行和在每个 \(n\) 都恰为标准正态，当然收敛到标准正态。但最大方差占比恒为 \(1\)，Feller 失败；对任意 \(\varepsilon>0\)，Lindeberg 和等于 \(E[Z^2\mathbf1_{\{|Z|>\varepsilon\}}]>0\)，也不趋于零。这说明没有 Feller 这类附加假设时，正态行和极限本身不能反推 Lindeberg；一个非小的正态项就能产生正态极限。
习题 10.6-4 用样本比例估计标准误
题目。设 \(X_i\) iid 且服从 \(\operatorname{Bernoulli}(p)\)，其中固定 \(0<p<1\)，\(\widehat p_n=n^{-1}\sum_iX_i\)。证明在 \(0<\widehat p_n<1\) 时定义的 \(\sqrt n(\widehat p_n-p)/\sqrt{\widehat p_n(1-\widehat p_n)}\) 趋于标准正态；在其余事件上把它定义为零。
解答。大数定律给出 \(\widehat p_n\xrightarrow{P}p\)，连续映射给出 \(\sqrt{\widehat p_n(1-\widehat p_n)}\xrightarrow{P}\sqrt{p(1-p)}>0\)。iid CLT 给出 \(\sqrt n(\widehat p_n-p)\Rightarrow N(0,p(1-p))\)。因此 Slutsky 的商形式推出目标结论。例外事件的概率为 \(p^n+(1-p)^n\to0\)，指定为零不改变弱极限。分母与分子都由同一批样本计算，证明无需假定它们独立。
关键术语
- 中心极限定理：归一化的和依分布趋于正态变量。
- 二阶余项控制：用平方可积上界证明特征函数的 \(o(t^2)\) 展开。
- Cramér–Wold 判据：所有线性投影的分布极限决定向量极限。
- 三角阵：按行求和的随机变量族，独立性只需在每行内成立。
- Lindeberg 条件：每个标准化阈值外的总二阶矩贡献趋于零。
- Lyapunov 条件：某个 \(2+\delta\) 阶绝对矩的归一化总和趋于零。
- Feller 方差条件：最大单项方差占总方差的比例趋于零。
- Berry–Esseen 界：在相应矩条件下控制正态近似的统一 CDF 误差。
- 随机标准化：以依概率收敛到正数的估计量替代未知标准差。
参考文献
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed., §3.4 与 §3.10：iid CLT、三角阵、Berry–Esseen 及多元极限。作者提供的教材版本。
- Pitman, J.（授课），Rosenberg, D. S.（记录）. Berkeley STAT205, Lecture 10, Setup for the Central Limit Theorem：三角阵、Lindeberg、Feller 逆向结论与 Lyapunov 条件。Berkeley 官方课程讲义。
- Shevtsova, I. (2011). On the absolute constants in the Berry-Esseen type inequalities for identically distributed summands, arXiv:1111.6554：本文所用 iid 通用常数的来源。作者论文与摘要。
继续用正则变化研究尾部与矩，然后由10.8分别确定独立和及最大值的极限。 10.7 正则变化与重尾的矩条件 · 专题路线。