15.1.1 严格平稳与二阶平稳
独立样本的大数定律把长期平均与期望联系起来；平稳过程允许观测之间存在依赖。过程 \((X_n)_{n\ge0}\) 称为严格平稳（strictly stationary），如果对所有有限个时间点及所有非负整数位移 \(r\)，联合分布满足
若各变量平方可积，均值不依赖时间，协方差只依赖时间差，则称二阶平稳或弱平稳（weakly stationary）。严格平稳加有限二阶矩蕴含二阶平稳；只比较前两阶矩不能反推出全部联合分布平移不变。若过程联合高斯，则均值和协方差决定全部有限维分布，两种平稳性在相应二阶矩条件下等价。
设 \(Z\) 以各 \(1/2\) 的概率取 \(1,5\)，并令每个 \(X_n=Z\)。过程严格平稳，\(EX_n=3\)，但所有样本平均始终等于 \(Z\)，绝不会趋于 \(3\)。一条路径从开始就固定了所属成分；时间延长并没有消除这份信息。
15.1.2 保持测度的变换与不变信息
在概率空间 \((\Omega,\mathcal F,P)\) 上，可测映射 \(T:\Omega\to\Omega\) 保持测度（measure preserving），是指 \(P(T^{-1}A)=P(A)\) 对所有 \(A\in\mathcal F\) 成立；不要求 \(T\) 可逆。定义不变 \(\sigma\) 代数
若其中每个事件的概率都为 \(0\) 或 \(1\)，称 \(T\) 遍历（ergodic）。按零测集识别后，\(\mathcal I\) 表达时间平移无法改变的信息。它对补集、可数并封闭，故确为 \(\sigma\) 代数。
给定可测 \(f\)，过程 \(X_n=f\circ T^n\) 严格平稳：把同一个有限维事件先用 \(T^r\) 拉回，测度不变性保证概率不变。反过来，严格平稳序列可放在其路径空间上，令 \(T\) 删除首项，路径分布即被这个左移保持。讨论平稳过程的遍历性时，就是讨论这一平移系统。
对实可测 \(f\)，\(f\circ T=f\) 几乎必然等价于 \(f\) 对 \(\mathcal I\) 可测，均按版本理解。正向用有理水平集 \(\{f\le q\}\) 检验；反向先对 \(\mathcal I\) 事件的指示函数证明，再由简单函数逼近。遍历时，这类不变函数只能几乎必然为常数：若某个不变实函数非退化，便能找到一个有理水平使其水平集概率严格位于 \(0,1\) 之间。
15.1.3 Birkhoff 定理的准确结论
设 \(T\) 保持概率测度，\(f\in L^1(P)\)。定义 \(A_nf=n^{-1}\sum_{k=0}^{n-1}f\circ T^k\)，则
若 \(T\) 遍历，则极限为常数 \(Ef\)。一般情况下，极限可以是随机变量，但它一定是不变信息的函数。此处 \(L^1\) 收敛使用概率测度有限；不要无条件照搬到无限测度系统。
下面给出证明，包括从有界观测推广到可积观测的步骤。它不需要独立性，也不给统一的有限样本收敛速度。速度问题还要加入混合、谱隙或其他定量条件。
15.1.4 最大遍历引理与逐点收敛的证明
对 \(g\in L^1\)，记 \(S_kg=\sum_{j=0}^{k-1}g\circ T^j\)、\(E=\{\sup_{k\ge1}S_kg>0\}\)，则 \(\int_Eg\,dP\ge0\)。
令 \(m_n=\max(0,S_1g,\ldots,S_ng)\)，\(E_n=\{m_n>0\}\)。有限最大值可积，且 \(m_n=(g+m_{n-1}\circ T)^+\)。在 \(E_n\) 上，\(m_n=g+m_{n-1}\circ T\le g+m_n\circ T\)；在补集上，\(m_n=0\) 且 \(m_n\circ T\ge0\)。所以在全空间上有 \(g\mathbf1_{E_n}\ge m_n-m_n\circ T\)。积分后，保持测度使右侧积分为零，故 \(\int_{E_n}g\ge0\)。由 \(E_n\uparrow E\) 及 \(|g|\) 的可积控制，取极限得引理。
先令 \(f\) 有界。设 \(u=\limsup_nA_nf\)、\(l=\liminf_nA_nf\)。由 \((A_nf)\circ T-A_nf=(f\circ T^n-f)/n\)，右侧一致趋零，所以 \(u,l\) 都不变且有界。对任意 \(\varepsilon>0\)，函数 \(g=f-u+\varepsilon\) 的平均具有上极限 \(\varepsilon\)，因此每条路径都至少有一个正部分和。最大遍历引理给出 \(\int(f-u+\varepsilon)\ge0\)，令 \(\varepsilon\downarrow0\) 得 \(\int u\le\int f\)。将同一论证用于 \(-f\)，得到 \(\int l\ge\int f\)。因为 \(l\le u\)，只能有 \(l=u\) 几乎必然，从而有界情形逐点收敛。
第二步 · 用最大界处理一般可积观测对非负可积 \(v\)，把引理用于 \(g=v-\eta\)，其中 \(\eta>0\)。在 \(E=\{\sup_nA_nv>\eta\}\) 上有 \(0\le\int_E(v-\eta)\)，因此
取有界截断 \(f_j\)，使 \(E|f-f_j|\le2^{-2j}\)。以 \(r=f-f_j\)、\(\eta=2^{-j}\) 应用上式，所得概率至多为 \(2^{-j}\)，可求和。Borel–Cantelli 引理说明，几乎每条路径上，当 \(j\) 足够大时，所有 \(n\) 都有 \(|A_n(f-f_j)|\le2^{-j}\)。与此同时，每个 \(A_nf_j\) 都已知收敛，可同时除去这可数多个例外集。固定足够大的 \(j\)，再令 \(n,m\) 足够大，便有 \(|A_nf-A_mf|\le2^{1-j}+|A_nf_j-A_mf_j|\)，从而 \(A_nf\) 是 Cauchy 序列，几乎必然有有限极限 \(Z\)。
第三步 · 证明一致可积并识别极限把 \(f\) 分成 \(|f|\le K/2\) 的部分和剩余部分，前者的任意平均绝对值不超过 \(K/2\)。在 \(|A_nf|>K\) 上，故有 \(|A_nf|\le2A_n(|f|\mathbf1_{\{|f|>K/2\}})\)，由保持测度可得
所以平均族 UI，Vitali 定理给出 \(L^1\) 收敛。又 \(\|(A_nf)\circ T-A_nf\|_1\le2\|f\|_1/n\)，保持测度使复合算子在 \(L^1\) 中等距，故 \(Z\circ T=Z\) 几乎必然，\(Z\) 对 \(\mathcal I\) 可测。对任意 \(B\in\mathcal I\)，有 \(\int_Bf\circ T^k=\int(\mathbf1_Bf)\circ T^k=\int_Bf\)。因此 \(\int_BA_nf=\int_Bf\)，在 \(L^1\) 中取极限得到 \(\int_BZ=\int_Bf\)。这正是 \(E[f\mid\mathcal I]\) 的定义，完成定理证明。
15.1.5 von Neumann 均值遍历定理
若 \(f\in L^2\)，还可以用 Hilbert 空间理解平均的极限。令 \(U:L^2\to L^2\)、\(Uf=f\circ T\)。保持测度给出 \(\|Uf\|_2=\|f\|_2\)，所以 \(U\) 是等距线性算子，未必可逆。记 \(\operatorname{Fix}(U)=\{f:Uf=f\}\)。
在 \(L^2\) 中，\(A_nf\) 收敛到 \(f\) 在闭子空间 \(\operatorname{Fix}(U)=L^2(\mathcal I)\) 上的正交投影，即 \(E[f\mid\mathcal I]\)。这里的“均值”指范数收敛，不直接替代逐点收敛的论证。
Hilbert 空间的正交分解给出 \(\overline{\operatorname{Ran}(I-U)}^\perp=\ker(I-U^*)\)。对等距算子，有 \(\ker(I-U^*)=\operatorname{Fix}(U)\)：若 \(U^*v=v\)，则 \(\|Uv-v\|_2^2=2\|v\|_2^2-2\langle Uv,v\rangle=0\)；反过来，\(Uv=v\) 时由 \(U^*U=I\) 得 \(U^*v=v\)。因此
固定部分的平均不变；若 \(f=(I-U)g\)，望远镜求和给出 \(A_nf=(g-U^ng)/n\)，范数不超过 \(2\|g\|_2/n\)，故趋零。又 \(\|A_n\|\le1\)，由稠密逼近将结论延伸到该值域的闭包。两部分相加便证明正交投影结论，投影等于条件期望由11.1 节得到。
15.1.6 两类过程与习题
在单边 iid 路径空间上，设事件 \(A\) 在左移下不变。则对每个 \(n\)，\(A\) 与 \(T^{-n}A\) 只差零测集，而后者只依赖第 \(n\) 项及以后的坐标。对依赖有限个初始坐标的事件 \(B\)，选足够大的 \(n\)，独立性给出 \(P(A\cap B)=P(A)P(B)\)。有限维柱集生成整个路径 \(\sigma\) 代数，由 \(\pi\)–\(\lambda\) 定理，\(A\) 与整个 \(\sigma\) 代数独立，因而与自身独立：\(P(A)=P(A)^2\)。故系统遍历。对可积的首坐标观测，Birkhoff 定理恢复 iid 强大数定律。
回到 \(Z\in\{1,5\}\) 的等概率模型，取 \(T\) 为恒等变换，\(f=Z\)。此时 \(\mathcal I=\mathcal F\)，所以 \(E[f\mid\mathcal I]=Z\)，精确解释了样本平均为何一直等于 \(Z\)。方差 \(\operatorname{Var}(Z)=4\)，任意两个时刻的协方差均为 \(4\)；\(n\) 项平均的方差也恒为 \(4\)。平稳性并没有提供增加样本数后的方差下降。
习题 15.1-1 · 二阶平稳但不严格平稳
构造相互独立的序列：偶数时刻等概率取 \(\pm1\)，奇数时刻服从 \(N(0,1)\)。验证两种平稳性。
解答。每个时刻均值为零、方差为 \(1\)，不同时间独立使协方差为零，所以协方差函数为 \(\gamma(0)=1\)、\(\gamma(k)=0\)（\(k\ne0\)），符合二阶平稳。但偶数时刻取 \(1\) 的概率为 \(1/2\)，奇数时刻取 \(1\) 的概率为零，连一维边缘都不相同，所以不严格平稳。
习题 15.1-2 · 相关不等于不遍历
令 \(B\) 为公平比特，\(X_n=B\) 当 \(n\) 为偶数，\(X_n=1-B\) 当 \(n\) 为奇数。证明过程严格平稳且遍历，并求协方差与样本平均极限。
解答。概率空间为两个等概率点，变换 \(T\) 交换两点，所以保持测度。唯一不变集合是空集与全集，故遍历；以首坐标作观测便得到该严格平稳过程。由于 \(X_k-1/2=(-1)^k(X_0-1/2)\)，有 \(\operatorname{Cov}(X_0,X_k)=(-1)^k/4\)，完全不衰减。任意 \(n\) 的平均与 \(1/2\) 相差至多 \(1/(2n)\)，所以平均仍趋于 \(1/2\)。遍历性允许这种依赖，并不等于相关性快速消失。
习题 15.1-3 · 图中的条件期望
在图 15.1-1 的四点模型中，写出全部不变事件，计算 \(E[f\mid\mathcal I]\)、\(Ef\) 及投影误差的平方期望。
解答。不变事件是空集、左分量、右分量和全集。在左分量上条件均值为 \((0+2)/2=1\)，右分量为 \((4+6)/2=5\)。总体均值为 \((0+2+4+6)/4=3\)。残差依次为 \(-1,1,-1,1\)，所以 \(E(f-E[f\mid\mathcal I])^2=1\)。两个分量中的时间平均正是对应条件均值。
习题 15.1-4 · 一个可明确估计速度的差分
设 \(T\) 保持概率测度，\(g\in L^2\)，\(f=g-g\circ T\)。求 \(A_nf\) 及其 \(L^2\) 范数上界，并求 \(E[f\mid\mathcal I]\)。
解答。有限和逐项抵消给出 \(A_nf=(g-g\circ T^n)/n\)。由保持测度，\(\|g\circ T^n\|_2=\|g\|_2\)，故 \(\|A_nf\|_2\le2\|g\|_2/n\)。极限为零，而均值遍历定理将该极限识别为 \(E[f\mid\mathcal I]\)，所以条件期望为零。这个显式速率来自特殊的差分表示，并非所有可积观测都具有相同速率。
关键术语
- 严格平稳：全部有限维联合分布在时间平移下不变。
- 二阶平稳：均值恒定、协方差只依赖时差。
- 保持测度：可测变换的原像保持事件概率。
- 不变σ代数：时间平移无法改变的事件信息。
- 遍历性：不变事件只有概率零或一。
- Birkhoff 定理：可积观测的时间平均逐点且在 L¹ 中收敛。
- 最大遍历引理：控制部分和曾经为正的事件上的积分。
- von Neumann 定理：平方可积时间平均趋于不变子空间的正交投影。