11.2.1 从逐个条件概率到概率核
固定概率空间 \((\Omega,\mathcal F,P)\)、子 \(\sigma\) 代数 \(\mathcal G\subseteq\mathcal F\)，以及取值于 \((S,\mathcal S)\) 的可测映射 \(X\)。由 11.1 节，对每个固定 \(B\in\mathcal S\)，条件概率 \(P(X\in B\mid\mathcal G)\) 是 \(E[\mathbf1_{\{X\in B\}}\mid\mathcal G]\) 的版本。现在要把这些数值组织成一个能对 \(x\) 积分的概率测度。
从 \((\Omega,\mathcal G)\) 到 \((S,\mathcal S)\) 的概率核（probability kernel，也称 Markov 核）是映射 \(K:\Omega\times\mathcal S\to[0,1]\)，满足：对每个固定 \(\omega\)，\(B\mapsto K(\omega,B)\) 是概率测度；对每个固定 \(B\)，\(\omega\mapsto K(\omega,B)\) 是 \(\mathcal G\)-可测函数。
若此外对所有 \(A\in\mathcal G\)、\(B\in\mathcal S\) 有
则称 \(K\) 为 \(X\) 给定 \(\mathcal G\) 的正则条件分布（regular conditional distribution）。它对每个 \(B\) 都提供了条件概率的一个版本。本页要求核在每个 \(\omega\) 上都是概率测度；构造中的例外零测集上可统一放置一个固定点质量。
核的第二个输入是集合。可测性要求作用于第一变量，概率测度公理作用于第二变量，二者都不可缺少。逐个选择条件概率版本时，有限或可数可加性只对每组固定事件几乎必然成立；不同事件组可能有不同例外集，不能直接对不可数多组例外集取并。
11.2.2 标准 Borel 条件与有理 CDF 构造
标准 Borel 空间（standard Borel space）可定义为与 \(\mathbb R\) 的某个 Borel 子集可测同构的可测空间，即存在双射，使它和逆映射都可测。可数离散空间、\(\mathbb R^d\) 及 Polish 空间的 Borel 空间都是例子；Polish 指拓扑可由完备可分度量给出。
若 \(X\) 的值域 \((S,\mathcal S)\) 是标准 Borel 空间，则对任意 \(\mathcal G\subseteq\mathcal F\)，\(X\) 给定 \(\mathcal G\) 的正则条件分布存在。此处不要求底空间 \((\Omega,\mathcal F)\) 标准 Borel，也不要求 \(\mathcal G\) 可数生成。参见文献 [1] 定理 4.1.17。
先设 \(S=\mathbb R\)、\(\mathcal S=\mathcal B(\mathbb R)\)。对每个 \(q\in\mathbb Q\)，选一个 \(\mathcal G\)-可测版本 \(H_q=E[\mathbf1_{\{X\le q\}}\mid\mathcal G]\)。条件期望的单调性保证 \(0\le H_q\le1\)，且 \(q<r\) 时 \(H_q\le H_r\)，这些关系各自几乎必然成立。因为有理数及有理数对可数，可以先除去一个共同的 \(\mathcal G\)-可测零测集，使全部关系逐点成立。
对固定有理数 \(q\)，序列 \(H_{q+1/j}\) 递减。令其极限为 \(L_q\)，对每个 \(A\in\mathcal G\) 使用控制收敛，得到 \(\int_A L_q\,dP=P(A\cap\{X\le q\})\)，故条件期望唯一性给出 \(L_q=H_q\) 几乎必然。同理，\(H_n\uparrow1\)、\(H_{-n}\downarrow0\) 几乎必然。再把这可数多个例外集合并入 \(N\in\mathcal G\)，仍有 \(P(N)=0\)。
对每个 \(\omega\notin N\)，定义
它单调不减，在两端的极限分别为 \(0,1\)，并满足 \(F_\omega(q)=H_q(\omega)\)。它也右连续：若 \(x_j\downarrow x\)，任取有理 \(q>x\)，最终有 \(x_j<q\)，所以 \(F_\omega(x)\le F_\omega(x_j)\le H_q(\omega)\)；对 \(q>x\) 取下确界即得右连续性。因此它是分布函数，对应唯一的 Borel 概率测度 \(K(\omega,\cdot)\)。在 \(N\) 上定义 \(K(\omega,\cdot)=\delta_0\)。
从有理半直线推广到全部 Borel 集令 \(\mathcal L\) 为所有满足“\(K(\cdot,B)\) 可测且式 (11.2-1) 对每个 \(A\in\mathcal G\) 成立”的 Borel 集 \(B\)。它包含 \(\mathbb R\) 和全部有理半直线 \((-\infty,q]\)。由每个 \(K(\omega,\cdot)\) 的测度性质，\(\mathcal L\) 对补集封闭；对可数不交并，点态可加性与单调收敛保证可测性及积分恒等式，故 \(\mathcal L\) 是 \(\lambda\) 系。有理半直线构成生成 Borel \(\sigma\) 代数的 \(\pi\) 系，9.1 节的 \(\pi\)–\(\lambda\) 定理遂给出 \(\mathcal L=\mathcal B(\mathbb R)\)。这就证明 \(K\) 是所求核。
推广到标准 Borel 值域取可测同构 \(b:S\to E\subseteq\mathbb R\)，其中 \(E\) 是 Borel 集，对 \(b(X)\) 作上述构造，得到核 \(\nu\)。因为 \(b(X)\in E\)，有 \(\nu(\omega,E)=1\) 几乎必然。把这一零测集也统一修补后，定义 \(K(\omega,B)=\nu(\omega,b(B))\)，并在例外集上取固定 \(\delta_{s_0}\)。可测同构保证 \(b(B)\) 是 Borel 集，所以测度性、可测性及积分恒等式都传回 \(S\)。
对一般可测值域，正则条件分布可能不存在，尽管每个指示函数的条件期望始终存在。上面的共同零测集和测度延拓依靠可数决定类与标准 Borel 结构。若让 \(X\) 成为任意底空间上的恒等映射，便是在要求原空间上的正则条件概率，不能忽略其可测结构而直接承诺存在；一般反例及出处见文献 [1] §4.1.3。
11.2.3 共同零测集与“给定 \(Y=y\)”
若 \(S\) 是标准 Borel 空间，且 \(K,L\) 都是 \(X\) 给定 \(\mathcal G\) 的正则条件分布，则存在同一个 \(N\in\mathcal G\)、\(P(N)=0\)，使对每个 \(\omega\notin N\)，两个概率测度 \(K(\omega,\cdot)\)、\(L(\omega,\cdot)\) 完全相同。
取包含 \(S\) 的可数生成 \(\pi\) 系 \(\mathcal C\)，例如将有理半直线通过标准 Borel 编码拉回。对每个 \(B\in\mathcal C\)，条件期望唯一性给出 \(K(\cdot,B)=L(\cdot,B)\) 在某个零测集 \(N_B\) 外成立。取 \(N=\bigcup_{B\in\mathcal C}N_B\)，它仍是零测集。对固定 \(\omega\notin N\)，两概率测度在 \(\mathcal C\) 上相同，由测度唯一性在整个 \(\mathcal S\) 上相同。推广到不可数多个 \(B\) 的步骤是测度唯一性，不是再取不可数个零测集的并。
若 \(X,Y\) 分别取值于标准 Borel 空间 \(S,T\)，则可把条件核写在 \(Y\) 的值域上：存在从 \(T\) 到 \(S\) 的核 \(k\)，使 \(K(\omega,B)=k(Y(\omega),B)\) 是给定 \(\sigma(Y)\) 的正则条件分布，等价地
构造方法仍是上一小节；一般 \(S\) 先作实值编码。每个 \(\sigma(Y)\)-可测实函数可写成 \(h(Y)\)（从指示函数、简单函数到极限即可证明），故可将 \(H_q\) 写成 \(h_q(Y)\)。在 \(T\) 上除去使可数 CDF 条件失败的一个 \(P_Y\)-零测集，再构造概率测度。由相同的决定类论证，两个这样的核在一个共同的 \(P_Y\)-零测集外作为测度相同。
记号 \(P(X\in B\mid Y=y)=k(y,B)\) 表示所选核。若 \(P(Y=y)=0\)，它不是用 \(P(X\in B,Y=y)/P(Y=y)\) 定义的。一个零概率条件值处可以另选概率测度，但修补必须保持核的可测性；也不能因为每个单点概率为零，就同时任意改动全部条件值。
11.2.4 核积分与连续条件分布的计算
若 \(K\) 是 \(X\) 给定 \(\mathcal G\) 的正则条件分布，\(f:S\to\mathbb R\) 可测且 \(E|f(X)|<\infty\)，则
非负 \(f\) 也有同样结论，允许积分为无穷。参见文献 [1] 定理 4.1.16及文献 [2] 的条件期望回顾。
对 \(f=\mathbf1_B\)，可测性和条件期望的积分恒等式就是核的定义。有限线性组合给出简单函数情形；对非负可测 \(f\)，取简单函数 \(f_n\uparrow f\)，两次单调收敛分别处理核积分和 \(P\)-积分，得到结论。对一般可积 \(f\)，应用于正、负部分。由于 \(E\int|f|\,dK=E|f(X)|<\infty\)，绝对核积分几乎必然有限；在例外的可测零测集上把积分值置零即可得到一个有限的条件期望版本。
若条件变量为 \(Y\)，还可计算同时依赖两变量的函数：对非负或满足 \(E|h(X,Y)|<\infty\) 的乘积可测 \(h\)，有
先对矩形指示函数 \(h(x,y)=\mathbf1_B(x)\mathbf1_D(y)\) 使用式 (11.2-3)，再用单调类和非负简单逼近推广即可。这里的共同核让随 \(y\) 变化的积分有明确含义。
设联合密度为 \(f_{X,Y}(x,y)=2\mathbf1_{\{0<x<y<1\}}\)。它在面积为 \(1/2\) 的三角形上积分为 \(1\)。边缘密度是 \(f_Y(y)=2y\mathbf1_{\{0<y<1\}}\)，故可选
其中 \(\lambda\) 是 Lebesgue 测度。固定 \(B\) 时积分可测；固定 \(y\) 时是概率测度。再乘以 \(2y\) 并对 \(y\in D\) 积分，就还原 \(\iint\mathbf1_B(x)\mathbf1_D(y)f_{X,Y}(x,y)\,dx\,dy\)，验证式 (11.2-3)。
于是给定 \(Y=y\in(0,1)\) 时 \(X\) 的所选条件分布是 \((0,y)\) 上的均匀分布。核积分给出
前两式分别计算 \(y^{-1}\int_0^y x\,dx\)、\(y^{-1}\int_0^y x^2\,dx\)；第三式将 \(h(x,y)=\mathbf1_{\{x>y/2\}}\) 代入式 (11.2-5)。可将单个 \(y=1/2\) 处的核改成 \(\delta_0\)，仍是合法版本；上述积分恒等式不变，但这个指定条件值处的答案会改变。
11.2.5 条件独立与条件核的乘积分解
随机元素 \(X,Z\) 给定 \(\mathcal G\) 条件独立，记为 \(X\perp Z\mid\mathcal G\)，是指对每个可测集合对 \(B,C\)，
写“给定 \(Y\)”即取 \(\mathcal G=\sigma(Y)\)。这一定义通过条件期望表达，本身不以条件密度存在为前提。
等价地，对所有有界可测 \(f,g\)，有 \(E[f(X)g(Z)\mid\mathcal G]=E[f(X)\mid\mathcal G]E[g(Z)\mid\mathcal G]\) 几乎必然。证明从指示函数出发，有限线性组合给出简单函数，再用有界简单逼近及条件控制收敛推广；反向只需取指示函数。这里测试任意有界函数，不能只检查 \(E[XZ\mid\mathcal G]=E[X\mid\mathcal G]E[Z\mid\mathcal G]\)。
若 \(X,Z\) 的值域都是标准 Borel 空间，取它们及联合变量给定 \(\mathcal G\) 的条件核 \(K_X,K_Z,K_{X,Z}\)。则条件独立等价于在一个共同零测集外有测度等式
在两个值域中各选一个包含全空间的可数生成 \(\pi\) 系。条件独立给出它们所有矩形上的乘积等式；这些集合对仍然可数，可除去一个共同零测集。对剩余的每个 \(\omega\)，联合核和乘积概率测度在生成乘积 \(\sigma\) 代数的矩形 \(\pi\) 系上一致，由测度唯一性得到式 (11.2-9)。反向把测度等式用于任意矩形即可。生成族方法的基础可对照文献 [3] §2.1。
11.2.6 条件独立与普通独立互不蕴含
令潜变量 \(\Theta\) 以相等概率取 \(1/4,3/4\)。再取 \(U,V\sim U(0,1)\)，使 \(\Theta,U,V\) 相互独立，定义 \(X=\mathbf1_{\{U\le\Theta\}}\)、\(Z=\mathbf1_{\{V\le\Theta\}}\)。固定 \(\Theta=p\) 后，\(X,Z\) 是两个独立 Bernoulli\((p)\) 变量，故 \(X\perp Z\mid\Theta\)。具体条件核为
然而边缘概率为 \(P(X=1)=P(Z=1)=E\Theta=1/2\)，联合概率却为
条件于 \(\Theta\) 时的乘积分布经混合后不一定仍是乘积分布。即使每个条件模型中没有依赖，未观察到的共同参数也能使两个观测同时更容易取 \(1\)。
另取相互独立的公平 Bernoulli 变量 \(X,Z\)，令 \(Y=X+Z\)。原本 \(X\perp Z\)，但在概率为 \(1/2\) 的事件 \(\{Y=1\}\) 上，只可能出现 \((X,Z)=(0,1),(1,0)\)，各占条件概率 \(1/2\)。所以 \(P(X=1,Z=1\mid Y=1)=0\)，而两个条件边缘概率的乘积为 \(1/4\)，条件独立失败。给定的信息本身可能把两个观测联系起来。
11.2.7 习题与详解
习题 11.2-1 · 每个集合都“几乎必然正确”，为什么还不是核？
在 \([0,1]\) 的 Borel 空间上取均匀概率，令 \(X(\omega)=\omega\)、\(\mathcal G=\mathcal F\)。对每个 Borel 集 \(B\)，定义 \(H_B(\omega)=0\)（若 \(B\) 是单点集），否则令 \(H_B(\omega)=\mathbf1_B(\omega)\)。证明每个 \(H_B\) 都是 \(P(X\in B\mid\mathcal G)\) 的版本，但对任何 \(\omega\)，\(B\mapsto H_B(\omega)\) 都不是概率测度。
正确条件概率可以取 \(\mathbf1_B(\omega)\)。若 \(B\) 不是单点集，定义完全相同；若 \(B=\{b\}\)，差异仅发生在零测集 \(\{b\}\)，所以每个固定 \(B\) 都几乎必然正确。
但固定任意 \(\omega\)，有 \(H_{\{\omega\}}(\omega)=0\) 以及 \(H_{[0,1]\setminus\{\omega\}}(\omega)=0\)，而 \(H_{[0,1]}(\omega)=1\)，连有限可加性都失败。所有单点例外集的不可数并是整个 \([0,1]\)。可数决定类方法要求先构造真正的概率测度，再利用唯一性推广，不能把这族任意选择的版本直接宣布为核。
习题 11.2-2 · 用三角密度的条件核计算总方差
在例 1 中，计算 \(\operatorname{Var}(X\mid Y)\)、\(E[\operatorname{Var}(X\mid Y)]\)、\(\operatorname{Var}(E[X\mid Y])\)，并验证它们给出 \(\operatorname{Var}(X)\)。
由核积分，条件方差为 \(Y^2/3-(Y/2)^2=Y^2/12\) 几乎必然。边缘密度 \(2y\mathbf1_{(0,1)}(y)\) 给出 \(EY=2/3\)、\(EY^2=1/2\)，故 \(E[\operatorname{Var}(X\mid Y)]=1/24\)，而 \(\operatorname{Var}(E[X\mid Y])=\tfrac14(\tfrac12-\tfrac49)=1/72\)。
两者之和是 \(1/18\)。直接核对：\(EX=E(Y/2)=1/3\)、\(EX^2=E(Y^2/3)=1/6\)，所以 \(\operatorname{Var}(X)=1/6-1/9=1/18\)。改变单个零概率 \(y\) 处的核不会影响这些期望或方差。
习题 11.2-3 · 观测怎样改变潜变量的条件分布？
在例 2 中求 \(P(Z=1\mid X=1)\) 与 \(P(\Theta=3/4\mid X=1,Z=1)\)。为何前者不等于 \(P(Z=1)\)？
由 \(P(X=1,Z=1)=5/16\)、\(P(X=1)=1/2\)，得到 \(P(Z=1\mid X=1)=5/8\)。又由给定潜变量时的独立性，\(P(X=1,Z=1\mid\Theta=3/4)=9/16\)。Bayes 公式给出 \(P(\Theta=3/4\mid X=1,Z=1)=(\tfrac12\cdot\tfrac9{16})/(\tfrac5{16})=9/10\)。
观测 \(X=1\) 改变了潜变量的混合权重：\(P(\Theta=3/4\mid X=1)=3/4\)。因此对 \(Z\) 的预测成为 \(\tfrac34\cdot\tfrac34+\tfrac14\cdot\tfrac14=5/8\)。条件于潜变量后的独立性，与未观测潜变量时的边缘依赖完全相容。
习题 11.2-4 · 条件独立等价于额外观测不改变条件期望
证明 \(X\perp Z\mid\mathcal G\) 等价于：对每个有界可测 \(f\)，有 \(E[f(X)\mid\mathcal G\vee\sigma(Z)]=E[f(X)\mid\mathcal G]\) 几乎必然。
先设条件独立，记 \(H=E[f(X)\mid\mathcal G]\)。对 \(A\in\mathcal G\)、\(D\in\sigma(Z)\)，条件独立的有界函数形式给出 \(E[\mathbf1_A\mathbf1_D f(X)]=E[\mathbf1_AH\,E(\mathbf1_D\mid\mathcal G)]=E[\mathbf1_A\mathbf1_DH]\)。集合 \(A\cap D\) 构成生成 \(\mathcal G\vee\sigma(Z)\) 的 \(\pi\) 系。两边积分相等的集合类是 \(\lambda\) 系，故等式对整个合并 \(\sigma\) 代数成立。加上 \(H\) 的可测性与可积性，它正是所求条件期望。
反过来，若上述恒等式对所有有界 \(f\) 成立，则对任意有界可测 \(g\)，先对 \(\mathcal G\vee\sigma(Z)\) 条件化，把已知的 \(g(Z)\) 提出，再对 \(\mathcal G\) 条件化，得到 \(E[f(X)g(Z)\mid\mathcal G]=E[f(X)\mid\mathcal G]E[g(Z)\mid\mathcal G]\)。取指示函数即得条件独立。
关键术语
- 概率核：对条件参数可测、对事件集合是概率测度的映射。
- 正则条件分布：同时实现全部条件概率的概率核。
- 标准 Borel 空间：与实数轴某个 Borel 子集可测同构的空间。
- 可数决定类：足以通过测度唯一性决定所有集合概率的可数集合族。
- 共同零测集：统一可数个版本等式后，再用测度结构推广所得的例外集。
- 核积分：对每个条件值对应的概率测度积分，以计算条件期望。
- 条件独立：给定信息后，联合条件分布分解为条件边缘分布的乘积。
- 潜变量：未被直接观测、但参与生成观测分布的随机变量。
参考文献与延伸阅读
- Durrett, R. (2019). Probability: Theory and Examples, 5th ed. §4.1.3；定理 4.1.16 为核积分公式，定理 4.1.17–4.1.18 给出正则条件分布及按条件变量参数化的构造。本页展开其中的可数版本选择步骤；一般可测空间上的不成立情形仅说明边界，不展开反例构造。Duke University 作者版 PDF。
- Polyanskiy, Y. (2018). Fundamentals of Probability, MIT 6.436J / 15.085J. Lecture 25, “Martingales I”，第 0 部分回顾相对于信息的条件期望及条件分布积分。MIT 官方讲义 25。
- Polyanskiy, Y. (2018). 同一课程 Lecture 3, “Conditioning and Independence”，§2.1 讲解如何由生成 \(\pi\) 系上的乘积等式建立 \(\sigma\) 代数独立。MIT 官方讲义 3。