11.1 相对于信息的条件期望 · 概率论基础教程

条件期望是在给定信息下保留各个可辨事件上积分的随机变量。本节用子σ代数准确表示信息，从拉东—尼科迪姆定理证明条件期望存在且几乎必然唯一，将离散分组和密度计算纳入同一定义，再证明塔式性质、可提取量、条件Jensen不等式及平方可积空间中的最优预测结论。

学习准备与记号

使用勒贝格积分与控制收敛定理、Fubini定理、\(L^p\)空间和拉东—尼科迪姆定理。固定概率空间 \((\Omega,\mathcal F,P)\)，随机变量均取实值。\(L^1(\mathcal F)\) 表示可积的 \(\mathcal F\) 可测随机变量，按几乎必然相等识别；本节的条件期望等式也均在这个意义下成立。

11.1.1 用子σ代数表达信息

设 \(\mathcal G\subseteq\mathcal F\) 是子 \(\sigma\) 代数。知道 \(\mathcal G\) 中每个事件是否发生，便是本节所说的“已有信息”。例如，只观察实值随机变量 \(Y\) 时，信息为 \(\sigma(Y)\)；只知道结果属于某个分组时，信息由这些分组生成。一个 \(\mathcal G\) 可测变量的值能由这份信息确定。

定义 11.1.1　条件期望（conditional expectation）

给定 \(X\in L^1(\mathcal F)\)。若随机变量 \(M\) 满足：\(M\) 是 \(\mathcal G\) 可测的，\(\mathbb E|M|<\infty\)，并且

\[\int_A M\,dP=\int_A X\,dP\qquad\text{对每个 }A\in\mathcal G,\]

(11.1-1)

则称 \(M\) 为 \(\mathbb E[X\mid\mathcal G]\) 的一个版本（version）。记 \(\mathbb E[X\mid Y]=\mathbb E[X\mid\sigma(Y)]\)；对事件 \(B\in\mathcal F\)，定义 \(P(B\mid\mathcal G)=\mathbb E[\mathbf1_B\mid\mathcal G]\)。

可测性限制了预测可使用的信息，积分等式要求它在每个可辨事件上保留原来的总期望。只检查 \(\mathbb EM=\mathbb EX\) 不够，因为这仅对应 \(A=\Omega\)。定义也没有把零概率事件作为分母；连续观察量的条件期望仍由式 (11.1-1) 刻画。

11.1.2 从RN定理得到存在与唯一性

定理 11.1.2　存在且几乎必然唯一

对任意子 \(\sigma\) 代数 \(\mathcal G\subseteq\mathcal F\) 和任意 \(X\in L^1(\mathcal F)\)，条件期望存在；任意两个版本几乎必然相等。此结论不要求 \(\mathcal G\) 由有限或可数个事件生成。

存在性证明。写 \(X=X^+-X^-\)，并在较小的可测空间 \((\Omega,\mathcal G)\) 上定义

\[\nu_\pm(A)=\int_A X^\pm\,dP,\qquad A\in\mathcal G,\qquad P_{\mathcal G}=P|_{\mathcal G}.\]

(11.1-2)

非负积分的可数可加性使 \(\nu_\pm\) 成为正测度；由 \(\mathbb E X^\pm<\infty\)，它们均有限。若 \(P_{\mathcal G}(A)=0\)，则 \(\nu_\pm(A)=0\)。因此可用第9.6节的有限正测度RN定理，取 \(\mathcal G\) 可测的非负密度 \(h_\pm=d\nu_\pm/dP_{\mathcal G}\)。其积分为 \(\mathbb EX^\pm\)，故可在各自的 \(\mathcal G\) 零测集上改为有限值。令

\[M=h_+-h_-,\qquad \mathbb E|M|\leq\mathbb E(h_++h_-)=\mathbb E|X|<\infty.\]

(11.1-3)

相减两条RN积分等式，就得到式 (11.1-1)。这里 \(h_+,h_-\) 是 \(X^+,X^-\) 的条件期望，不必是 \(M\) 本身的正、负部。

唯一性证明。设 \(M,N\) 均满足定义。对整数 \(k\geq1\)，集合 \(A_k=\{M-N\geq1/k\}\) 属于 \(\mathcal G\)，故

\[0=\int_{A_k}(M-N)\,dP\geq\frac1k P(A_k).\]

(11.1-4)

取可数并得 \(P(M>N)=0\)，交换两者得 \(P(N>M)=0\)。证毕。具体版本仍须 \(\mathcal G\) 可测；当 \(\mathcal G\) 未完备时，在任意零测子集上改值未必保持可测性。

积分刻画可以从指示函数扩展到任意有界的 \(\mathcal G\) 可测变量 \(H\)：

\[\mathbb E[HM]=\mathbb E[HX].\]

(11.1-5)

指示函数情形就是定义，简单函数情形由线性组合得到。用一致有界的简单函数逐点逼近 \(H\)，两侧分别由常数倍的 \(|M|\)、\(|X|\) 控制，控制收敛定理便给出一般情形。

命题 11.1.3　基本性质

对 \(X,W\in L^1\) 和常数 \(a,b\in\mathbb R\)，

\[\begin{aligned} &\mathbb E[aX+bW\mid\mathcal G]=a\mathbb E[X\mid\mathcal G]+b\mathbb E[W\mid\mathcal G],\\ &X\leq W\ \text{a.s.}\ \Longrightarrow \mathbb E[X\mid\mathcal G]\leq\mathbb E[W\mid\mathcal G]\ \text{a.s.},\\ &|\mathbb E[X\mid\mathcal G]|\leq\mathbb E[|X|\mid\mathcal G], \qquad \mathbb E\mathbb E[X\mid\mathcal G]=\mathbb EX. \end{aligned}\]

(11.1-6)

若 \(X\) 已是 \(\mathcal G\) 可测，则 \(\mathbb E[X\mid\mathcal G]=X\)。

证明。线性组合满足定义中的可测性和积分等式，故由唯一性成立。非负变量可选非负RN密度，应用于 \(W-X\) 得单调性；再对 \(-|X|\leq X\leq|X|\) 使用单调性得绝对值界。取 \(A=\Omega\) 得保期望性质。若 \(X\) 已可测，它自己就满足定义。证毕。

11.1.3 离散分组和密度公式都是特例

若 \((A_j)\) 是有限或可数的可测分割，\(\mathcal G=\sigma(A_j:j\geq1)\)，则

\[\mathbb E[X\mid\mathcal G] =\sum_{j:P(A_j)>0}\frac{\mathbb E[X\mathbf1_{A_j}]}{P(A_j)}\,\mathbf1_{A_j}.\]

(11.1-7)

在零概率的分组上可取零。右侧在各组内为常数，因而 \(\mathcal G\) 可测；其绝对值积分不超过 \(\mathbb E|X|\)。任意 \(\mathcal G\) 事件是这些分组的并，逐组积分并用可积性求和，就验证了定义。

例 11.1-1　分组中要按条件概率加权

取 \(\Omega=\{1,2,3,4\}\)，四点概率依次为 \((1/6,1/3,1/6,1/3)\)，\(X\) 的值依次为 \((0,3,3,6)\)。观察只区分 \(A=\{1,2\}\) 与 \(B=\{3,4\}\)。两组概率都为 \(1/2\)，于是

\[M=\mathbb E[X\mid\sigma(A,B)] =\frac{0/6+3/3}{1/2}\mathbf1_A+ \frac{3/6+6/3}{1/2}\mathbf1_B =2\mathbf1_A+5\mathbf1_B.\]

(11.1-8)

组内两个结果的条件概率为 \(1/3,2/3\)，所以应给出 \(2\) 和 \(5\)。检验可得 \(\mathbb E[M\mathbf1_A]=1=\mathbb E[X\mathbf1_A]\)，在 \(B\) 上两侧均为 \(5/2\)，从而 \(\mathbb EM=\mathbb EX=7/2\)。直接计算还得到 \(\mathbb E(X-M)^2=(4+2+4+2)/6=2\)，第11.1.6小节会说明这个误差最小。

图 11.1-1　可测性把预测限制为组内常数。图中数字对应例11.1-1。信息 \(\sigma(A,B)\) 无法区分同组内的两个结果；积分刻画再决定这个常数必须采用条件概率 \(1/3,2/3\) 加权。

再设 \((X,Y)\) 有联合 Borel 密度 \(f(x,y)\)，且 \(\mathbb E|X|<\infty\)。令 \(f_Y(y)=\int f(x,y)\,dx\)。在 \(0<f_Y(y)<\infty\) 且 \(\int|x|f(x,y)\,dx<\infty\) 处定义

\[g(y)=\frac{\int_{\mathbb R}x f(x,y)\,dx}{f_Y(y)}.\]

(11.1-9)

其余处取 \(g(y)=0\)，这些例外取值构成 \(Y\) 的分布下的零测集。Fubini定理保证 \(g\) 可测，且 \(\int|g(y)|f_Y(y)\,dy\leq\mathbb E|X|\)。对任意 Borel 集 \(D\)，

\[\mathbb E[g(Y)\mathbf1_{\{Y\in D\}}] =\int_D\!\int_{\mathbb R}x f(x,y)\,dx\,dy =\mathbb E[X\mathbf1_{\{Y\in D\}}].\]

(11.1-10)

因此 \(g(Y)\) 满足 \(\sigma(Y)\) 上的定义，就是 \(\mathbb E[X\mid Y]\)。这里的 \(g(y)\) 是按 \(Y\) 的分布几乎处处确定的函数；更一般的条件分布核将在第11.2节处理。

例 11.1-2　三角形区域上的条件均值

设 \(f(x,y)=2\mathbf1_{\{0<x<y<1\}}\)，其积分为 \(1\)。对 \(0<y<1\)，

\[f_Y(y)=2y,\qquad g(y)=\frac{\int_0^y2x\,dx}{2y}=\frac y2,\qquad \mathbb E[X\mid Y]=\frac Y2.\]

(11.1-11)

于是 \(\mathbb EX=\int_0^1(y/2)\,2y\,dy=1/3\)。给定 \(y\) 的条件密度为 \(1/y\) 于 \((0,y)\)，但 \(y=0\) 时不能用比值；在那里如何定义 \(g\) 不影响随机变量版本。预测 \(Y/2\) 的均方误差可直接算出：

\[\mathbb E(X-Y/2)^2 =\int_0^1\!\int_0^y2(x-y/2)^2\,dx\,dy =\int_0^1\frac{y^3}{6}\,dy=\frac1{24}.\]

(11.1-12)

11.1.4 塔式性质与可提取量

定理 11.1.4　塔式性质（tower property）

若 \(\mathcal H\subseteq\mathcal G\subseteq\mathcal F\)，且 \(X\in L^1\)，则

\[\begin{aligned} \mathbb E[\mathbb E[X\mid\mathcal G]\mid\mathcal H]&=\mathbb E[X\mid\mathcal H],\\ \mathbb E[\mathbb E[X\mid\mathcal H]\mid\mathcal G]&=\mathbb E[X\mid\mathcal H]. \end{aligned}\]

(11.1-13)

证明。内层条件期望均可积。第一行左侧 \(\mathcal H\) 可测，在任意 \(A\in\mathcal H\) 上的积分等于 \(\int_A\mathbb E[X\mid\mathcal G]\,dP=\int_A X\,dP\)，其中最后一步使用 \(A\in\mathcal G\)。唯一性给出第一行。第二行因为内层变量已是 \(\mathcal H\) 可测，因而也是 \(\mathcal G\) 可测，应用基本性质即可。证毕。

定理 11.1.5　可提取量（pull-out property）

设 \(X\in L^1\)，\(Z\) 是有限实值的 \(\mathcal G\) 可测变量，且 \(ZX\in L^1\)。则 \(Z\mathbb E[X\mid\mathcal G]\in L^1\)，并有

\[\mathbb E[ZX\mid\mathcal G]=Z\mathbb E[X\mid\mathcal G].\]

(11.1-14)

证明。记 \(M=\mathbb E[X\mid\mathcal G]\)、\(V=\mathbb E[|X|\mid\mathcal G]\)。先验证右侧可积。由 \(|M|\leq V\)，并将式 (11.1-5) 用于有界变量 \(|Z|\wedge n\) 与 \(V\)，两侧单调收敛得到

\[\mathbb E|ZM|\leq\mathbb E[|Z|V] =\lim_n\mathbb E[(|Z|\wedge n)|X|] =\mathbb E|ZX|<\infty.\]

(11.1-15)

再取 \(Z_n=Z\mathbf1_{\{|Z|\leq n\}}\)。对每个 \(A\in\mathcal G\)，有界测试函数 \(H=\mathbf1_AZ_n\) 给出 \(\int_A Z_nM\,dP=\int_A Z_nX\,dP\)。左右分别由可积的 \(|ZM|\)、\(|ZX|\) 控制；控制收敛定理让 \(n\to\infty\)，得到 \(ZM\) 对 \(ZX\) 的积分刻画。证毕。

分别可积不能保证乘积可积

若 \(U\sim U(0,1)\)，取 \(X=Z=U^{-2/3}\)、\(\mathcal G=\sigma(U)\)，则 \(\mathbb E|X|=\mathbb E|Z|=3\)，但 \(\mathbb E|ZX|=\int_0^1u^{-4/3}\,du=\infty\)。此时乘积不在本节定义的可积条件期望范围内。有界 \(Z\) 则自动满足乘积条件。

11.1.5 条件Jensen不等式与范数控制

定理 11.1.6　条件Jensen不等式（conditional Jensen inequality）

设 \(\Phi:\mathbb R\to\mathbb R\) 是处处有限的凸函数，\(X\in L^1\) 且 \(\Phi(X)\in L^1\)。那么 \(\Phi(\mathbb E[X\mid\mathcal G])\) 可积，且

\[\Phi(\mathbb E[X\mid\mathcal G]) \leq\mathbb E[\Phi(X)\mid\mathcal G]\qquad\text{a.s.}\]

(11.1-16)

证明。先说明需要的凸性事实。对每个有理数 \(q\)，凸函数割线斜率的单调性保证可选一条支撑直线 \(\ell_q(x)=a_qx+b_q\)，使 \(\ell_q\leq\Phi\)、\(\ell_q(q)=\Phi(q)\)：斜率可取在 \(q\) 处左侧割线斜率的上确界与右侧割线斜率的下确界之间。凸函数在实轴内部连续，支撑斜率在每个紧区间内有界。因此当 \(q_j\to x\) 时，\(\ell_{q_j}(x)=\Phi(q_j)+a_{q_j}(x-q_j)\to\Phi(x)\)，即

\[\Phi(x)=\sup_{q\in\mathbb Q}\ell_q(x).\]

(11.1-17)

记 \(M=\mathbb E[X\mid\mathcal G]\)。对每个 \(q\)，单调性与线性给出 \(\mathbb E[\Phi(X)\mid\mathcal G]\geq a_qM+b_q\) 几乎必然。因为 \(q\) 只取可数多个值，可在同一个概率为 \(1\) 的事件上对全部 \(q\) 取上确界，得到所需不等式。最后，固定一条支撑线给出 \(\Phi(M)\geq a_0M+b_0\)，而上界 \(\mathbb E[\Phi(X)\mid\mathcal G]\) 也可积；这分别控制负部与正部，故 \(\Phi(M)\in L^1\)。证毕。

取 \(\Phi(x)=|x|^p\)，其中 \(1\leq p<\infty\)，若 \(X\in L^p\)，便有

\[|\mathbb E[X\mid\mathcal G]|^p \leq\mathbb E[|X|^p\mid\mathcal G],\qquad \|\mathbb E[X\mid\mathcal G]\|_p\leq\|X\|_p.\]

(11.1-18)

对 \(X-W\) 使用这个结论和线性，便得到条件期望在 \(L^p\) 中的收缩性。特别地，平方可积的 \(X\) 有平方可积的条件期望；下一步的内积计算因此都有定义。

11.1.6 条件期望作为正交投影

在 \(L^2(\mathcal F)\) 中取内积 \(\langle U,V\rangle=\mathbb E[UV]\)。记 \(L^2(\mathcal G)\) 为其中具有 \(\mathcal G\) 可测版本的变量。它是闭子空间：若 \(Z_n\in L^2(\mathcal G)\) 在 \(L^2\) 中趋于 \(Z\)，则由 \(\mathbb E[Z_n\mid\mathcal G]=Z_n\) 和收缩性，有 \(\|\mathbb E[Z\mid\mathcal G]-Z\|_2\leq2\|Z-Z_n\|_2\to0\)。因此 \(Z=\mathbb E[Z\mid\mathcal G]\) 几乎必然，右侧就是一个 \(\mathcal G\) 可测版本。

定理 11.1.7　正交投影与最小均方预测

若 \(X\in L^2(\mathcal F)\)，令 \(M=\mathbb E[X\mid\mathcal G]\)。则 \(M\in L^2(\mathcal G)\)，且

\[\mathbb E[(X-M)Z]=0\qquad\text{对每个 }Z\in L^2(\mathcal G).\]

(11.1-19)

对任意预测量 \(W\in L^2(\mathcal G)\)，有勾股恒等式

\[\mathbb E(X-W)^2=\mathbb E(X-M)^2+\mathbb E(M-W)^2.\]

(11.1-20)

所以 \(M\) 是唯一的最小均方误差预测量，唯一性按几乎必然相等理解。

证明。由条件Jensen，\(\mathbb EM^2\leq\mathbb EX^2<\infty\)。给定 \(Z\in L^2(\mathcal G)\)，Cauchy–Schwarz不等式保证 \(XZ,MZ\in L^1\)。可提取量定理给出 \(\mathbb E[XZ\mid\mathcal G]=ZM\)，再取期望，得 \(\mathbb E[(X-M)Z]=0\)。在 \(X-W=(X-M)+(M-W)\) 中展开平方，交叉项因为 \(M-W\in L^2(\mathcal G)\) 而为零，得到式 (11.1-20)。最后一项非负，且仅当 \(W=M\) 几乎必然时为零。证毕。

这就是正交投影（orthogonal projection）的具体构造与验证，存在性已由RN定理给出。即使允许任意 \(\mathcal G\) 可测的预测量，只要其均方误差有限，就有 \(W=X-(X-W)\in L^2\)，故上述最优性覆盖全部有限误差的预测。例11.1-1和例11.1-2的最小误差分别为 \(2\) 与 \(1/24\)。

图 11.1-2　正交性消去均方误差的交叉项。图以有限维形状示意 \(L^2(\mathcal G)\)，线段不代表具体数值。残差 \(X-M\) 与该子空间正交，所以 \(\|X-W\|_2^2=\|X-M\|_2^2+\|M-W\|_2^2\)。

11.1.7 习题与完整解答

习题 11.1-1　条件均值为常数是否意味着独立？

证明：若 \(X\in L^1\) 且 \(\sigma(X)\) 与 \(\mathcal G\) 独立，则 \(\mathbb E[X\mid\mathcal G]=\mathbb EX\)。再给出逆命题失败的有限样本空间例子。

完整解答

常数 \(\mathbb EX\) 是 \(\mathcal G\) 可测的。对每个 \(A\in\mathcal G\)，独立性给出 \(\mathbb E[X\mathbf1_A]=\mathbb EX\,P(A)\)，故满足定义。逆向取 \(P(X=-1)=P(X=1)=1/4\)、\(P(X=0)=1/2\)，令 \(\mathcal G=\sigma(X^2)\)。在 \(\{X^2=1\}\) 上正负权重相同，在 \(\{X^2=0\}\) 上 \(X=0\)，所以条件均值恒为零。但 \(A=\{X=0\}\) 同时属于 \(\sigma(X)\) 和 \(\mathcal G\)，且 \(P(A\cap A)=1/2\ne P(A)^2=1/4\)，独立性不成立。

习题 11.1-2　塔式性质中的嵌套条件

四点等概率空间上，令 \(X=(0,2,4,6)\)，\(\mathcal G=\sigma(\{1,2\},\{3,4\})\)，\(\mathcal H=\sigma(\{1,2,3\},\{4\})\)。比较 \(\mathbb E[\mathbb E[X\mid\mathcal G]\mid\mathcal H]\) 和 \(\mathbb E[X\mid\mathcal H]\)。

完整解答

每组内取等权平均，得到

\[\begin{aligned} \mathbb E[X\mid\mathcal G]&=(1,1,5,5),\\ \mathbb E[\mathbb E[X\mid\mathcal G]\mid\mathcal H]&=(7/3,7/3,7/3,5),\\ \mathbb E[X\mid\mathcal H]&=(2,2,2,6). \end{aligned}\]

(11.1-21)

两者不同。这里 \(\mathcal H\) 与 \(\mathcal G\) 互不包含，例如 \(\{4\}\notin\mathcal G\)、\(\{1,2\}\notin\mathcal H\)。先后根据两份不嵌套的信息求条件期望，不能使用定理11.1.4消去内层。

习题 11.1-3　只观察两个指数变量的和

设 \(X,Y\) 独立且均服从速率为 \(1\) 的指数分布，记 \(S=X+Y\)。不计算条件密度，求 \(\mathbb E[X\mid S]\) 及最小均方预测误差。

完整解答

交换 \(X,Y\) 不改变联合分布，也不改变 \(S\)。因此对任意 Borel 集 \(D\)，\(\mathbb E[(X-Y)\mathbf1_{\{S\in D\}}]\) 等于其相反数，只能为零。由定义，\(\mathbb E[X-Y\mid S]=0\)；又 \(\mathbb E[X+Y\mid S]=S\)，故

\[\mathbb E[X\mid S]=\mathbb E[Y\mid S]=S/2.\]

(11.1-22)

两个变量都平方可积，均值、方差均为 \(1\)。利用独立性，最小误差为

\[\mathbb E(X-S/2)^2=\frac14\mathbb E(X-Y)^2 =\frac14(\operatorname{Var}X+\operatorname{Var}Y)=\frac12.\]

(11.1-23)

正交投影定理保证所有 \(\sigma(S)\) 可测且误差有限的预测量都不能得到更小的值。

习题 11.1-4　条件方差、总方差与零误差

设 \(X\in L^2\)、\(M=\mathbb E[X\mid\mathcal G]\)，定义 \(V=\mathbb E[(X-M)^2\mid\mathcal G]\)。证明条件方差公式与总方差公式，并证明 \(V=0\) 几乎必然当且仅当 \(X\) 有 \(\mathcal G\) 可测版本。

完整解答

条件Jensen保证 \(M\in L^2\)，Cauchy–Schwarz保证 \(XM\in L^1\)。展开平方，可提取量定理给出 \(\mathbb E[XM\mid\mathcal G]=M^2\)，从而

\[V=\mathbb E[X^2\mid\mathcal G]-M^2\geq0,\qquad \operatorname{Var}X=\mathbb EV+\operatorname{Var}M.\]

(11.1-24)

第二式来自 \(\mathbb EV=\mathbb EX^2-\mathbb EM^2\) 及 \(\mathbb EM=\mathbb EX\)。若 \(V=0\) 几乎必然，则 \(0=\mathbb EV=\mathbb E(X-M)^2\)，所以 \(X=M\) 几乎必然，\(M\) 就是所需可测版本。反之，若有这样的版本，条件期望的唯一性给出 \(X=M\) 几乎必然，故 \(V=0\)。

关键术语

子σ代数：用可辨事件组成的 \(\mathcal G\subseteq\mathcal F\) 表达已有信息。
条件期望：既对信息可测，又保留该信息中每个事件上积分的可积随机变量。
版本：条件期望的一个具体可测代表，任意两版本几乎必然相等。
积分刻画：对全部 \(A\in\mathcal G\) 检验积分等式。
塔式性质：对嵌套信息先后求条件期望，结果由较小的σ代数决定。
可提取量：给定信息下已知的乘数，在乘积可积条件下可移到条件期望外。
条件Jensen不等式：凸函数作用于条件均值，不超过函数值的条件均值。
正交投影：在 \(L^2\) 中把变量映到 \(\mathcal G\) 可测子空间，残差与该子空间正交。

参考文献

Durrett, R. (2019). Probability: Theory and Examples, 5th ed., §4.1。包含RN构造、条件期望的积分刻画，Theorems 4.1.10、4.1.13–4.1.15分别处理条件Jensen、塔式、可提取量和最小均方预测。作者公开版本。
MIT OpenCourseWare, 6.436J / 15.085J Fundamentals of Probability, Fall 2018, Lecture 25, “Martingales I”，第0部分及Example 3。讲义回顾相对于σ代数的条件期望，并用塔式性质构造Doob鞅；RN存在性与本节其余证明参照上项教材及前置章节展开。课程原始讲义。