第 9 章 · 概率空间与测度积分

9.4 乘积测度、独立性与累次积分

Product Measures and Independence
二维积分与独立随机变量都依赖乘积测度。本节从矩形和截面构造乘积空间,区分非负情形的Tonelli定理与绝对可积情形的Fubini定理,给出换序成功和失败的完整计算,再证明独立性的分布与期望判据。最后用二进制位构造可数独立序列,说明有限维分布如何确定整个序列的概率模型。
先修内容与记号

本节使用 9.1 节的生成族与测度唯一性、9.2 节的可测映射与分布和 9.3 节的单调收敛定理。除明确指出的反例外,因子测度均为 \(\sigma\) 有限。对非负扩展实数采用 \(0\cdot\infty=0\),这与零集上的积分约定一致。

9.4.1 乘积事件与可测截面

给定两个可测空间 \((S,\mathcal S)\)、\((T,\mathcal T)\),联合结果是有序对 \((x,y)\)。集合 \(A\times B\) 表示两个坐标分别落在 \(A,B\) 中,但一般事件还可以是三角形、对角线等非矩形集合。

定义 9.4-1 乘积σ代数与截面
\[\mathcal S\otimes\mathcal T=\sigma\{A\times B:A\in\mathcal S,\ B\in\mathcal T\}.\]
(9.4-1)

这是乘积 \(\sigma\) 代数(product sigma-algebra),也是使两个坐标投影可测的最小 \(\sigma\) 代数。对 \(E\subseteq S\times T\),定义截面(section)\(E_x=\{y:(x,y)\in E\}\)、\(E^y=\{x:(x,y)\in E\}\)。

若 \(E\in\mathcal S\otimes\mathcal T\),则每个 \(E_x\in\mathcal T\)。证明只需固定 \(x\):具有这一性质的集合族对补集和可数并封闭,而矩形的截面是 \(B\) 或空集,故它包含全部乘积事件。由逆像 \(\{y:f(x,y)\in C\}=\{f\in C\}_x\),乘积可测函数的每个截面函数也可测。

在欧氏空间中,\(\mathcal B(\mathbb R)\otimes\mathcal B(\mathbb R)=\mathcal B(\mathbb R^2)\):矩形是博雷尔集,而每个平面开集是其中有理端点开矩形的可数并。以下均在未完备化的乘积事件族上陈述。即使两个因子测度完备,乘积测度仍未必完备;在两个因子均完备的前提下,再作乘积测度的完备化,截面可测性一般只能在几乎处处意义下保证。

定理 9.4-1 乘积测度

若 \((S,\mathcal S,\mu)\)、\((T,\mathcal T,\nu)\) 都是 \(\sigma\) 有限测度空间,则在 \(\mathcal S\otimes\mathcal T\) 上存在唯一的乘积测度(product measure)\(\mu\otimes\nu\),满足

\[(\mu\otimes\nu)(A\times B)=\mu(A)\nu(B).\]
(9.4-2)

若两个因子都是概率测度,乘积测度也是概率测度。矩形族是生成乘积事件族的 \(\pi\) 系统,唯一性由 9.1 节的有限测度唯一性及有限质量覆盖的局部化得到。下一部分同时证明存在性和积分公式。

9.4.2 Tonelli与Fubini:先检查哪一个条件

定理 9.4-2 非负与可积两种换序定理

Tonelli 定理:若 \(f:S\times T\to[0,\infty]\) 关于 \(\mathcal S\otimes\mathcal T\) 可测,则截面积分是非负可测函数,且

\[\begin{aligned} \int_{S\times T}f\,d(\mu\otimes\nu) &=\int_S\left(\int_T f(x,y)\,\nu(dy)\right)\mu(dx)\\ &=\int_T\left(\int_S f(x,y)\,\mu(dx)\right)\nu(dy). \end{aligned}\]
(9.4-3)

三个值可以同时为 \(\infty\),无需预先证明有限。

Fubini 定理:若 \(f:S\times T\to\mathbb R\) 乘积可测且 \(\int|f|\,d(\mu\otimes\nu)<\infty\),则几乎每个截面绝对可积,式 (9.4-3) 仍成立,三个积分均有限。内层积分未定义的零测异常集上可赋值零,再作外层积分。

完整证明:从截面构造乘积测度,再推广到函数

先证明 \(g_E(x)=\nu(E_x)\) 可测。若 \(\nu(T)<\infty\),使 \(g_E\) 可测的乘积事件构成 \(\lambda\) 系统:全集对应常数;补集对应 \(\nu(T)-g_E\);可数不交并对应 \(\sum_n g_{E_n}\)。矩形对应 \(\mathbf1_A(x)\nu(B)\),所以 \(\pi\)–\(\lambda\) 定理给出所有乘积事件的结论。一般 \(\sigma\) 有限的 \(\nu\) 可取 \(T_n\uparrow T\)、\(\nu(T_n)<\infty\),对有限测度 \(\nu(\,\cdot\,\cap T_n)\) 应用刚才的结论,再令 \(n\to\infty\)。

现在定义 \(\rho(E)=\int_S g_E\,d\mu\)。空集取零;不交 \(E_n\) 的截面仍不交,单调收敛定理给出 \(\rho(\bigcup_nE_n)=\sum_n\rho(E_n)\)。故 \(\rho\) 是测度,且在矩形上等于 \(\mu(A)\nu(B)\)。取两个因子的递增有限质量覆盖 \(S_n,T_n\),矩形 \(S_n\times T_n\) 覆盖全空间,使唯一性论证成立。交换两个因子构造的测度在矩形上一致,因此也等于 \(\rho=\mu\otimes\nu\)。这证明了式 (9.4-3) 对指标函数成立。

线性相加得到非负简单函数的公式。对任意非负可测 \(f\),取简单函数 \(f_n\uparrow f\),分别在截面、外层和乘积空间上用单调收敛定理,即得到 Tonelli 公式及截面积分的可测性。

最后对 \(|f|\) 用 Tonelli。其积分有限,故 \(\int_T|f(x,y)|\,d\nu<\infty\) 对 \(\mu\) 几乎处处的 \(x\) 成立,另一方向同理。对 \(f^+,f^-\) 分别应用非负公式后相减,因两者总积分都有限,不会出现 \(\infty-\infty\),从而得到 Fubini 定理。

实际计算中,可先对 \(|f|\) 用 Tonelli,只要任一累次积分有限,就已验证 Fubini 所需条件。若两个内层带符号积分碰巧都存在,则尚不能据此换序。官方表述及证明可对照 MIT 讲义 9。

9.4.3 二维密度与换序失败的计算

例 9.4-1 三角形区域上的联合密度

在 \(\mathbb R^2\) 上定义 \(p(x,y)=2\mathbf1_{\{x>0,\ y>0,\ x+y<1\}}\)。Tonelli 给出 \(\int p\,dx\,dy=\int_0^1 2(1-x)\,dx=1\),所以 \(P(E)=\int_Ep\,dx\,dy\) 是概率测度。坐标变量的边缘密度为

\[p_X(x)=2(1-x)\mathbf1_{(0,1)}(x),\qquad p_Y(y)=2(1-y)\mathbf1_{(0,1)}(y).\]
(9.4-4)

因 \(XY\) 在支持集上有界,相关积分绝对可积。先固定 \(x\) 积分,得到

\[\mathbb E[XY]=\int_0^1\int_0^{1-x}2xy\,dy\,dx =\int_0^1x(1-x)^2\,dx=\frac12-\frac23+\frac14=\frac1{12}.\]
(9.4-5)

换成先固定 \(y\),外层为 \(\int_0^1y(1-y)^2\,dy\),得到同一答案。另有 \(\mathbb EX=\mathbb EY=1/3\),故 \(\mathbb E[XY]\neq\mathbb EX\,\mathbb EY\),两变量不独立。乘积空间提供联合结果的定义域,选择的联合概率仍可表达依赖。

三角形区域的竖直与水平截面 左右两图均为单位正方形中x加y小于1的三角形。左图固定x等于0.4,竖直截面长0.6;右图固定y等于0.3,水平截面长0.7。 固定横坐标,先积竖直截面 固定纵坐标,先积水平截面 011 011 xy xy 0.40.3 长 0.6 长 0.7 坐标精确标示;两个方向使用同一个支持区域
图 9.4-1 例 9.4-1 的支持集与截面。竖直方向上限为 \(1-x\),水平方向上限为 \(1-y\);边界不影响此密度定义的概率。
例 9.4-2 两种累次积分都有限,数值却不同

在 \((0,1)^2\) 的勒贝格乘积空间上取 \(f(x,y)=(x^2-y^2)/(x^2+y^2)^2\)。它在域内连续。利用 \(y/(x^2+y^2)\) 对 \(y\) 的导数,以及 \(-x/(x^2+y^2)\) 对 \(x\) 的导数,分别得到

\[\begin{aligned} \int_0^1\!\left(\int_0^1 f(x,y)\,dy\right)dx &=\int_0^1\frac{dx}{1+x^2}=\frac{\pi}{4},\\ \int_0^1\!\left(\int_0^1 f(x,y)\,dx\right)dy &=-\int_0^1\frac{dy}{1+y^2}=-\frac{\pi}{4}. \end{aligned}\]
(9.4-6)

问题发生在原点附近。若 \(0<y<x/2\),则 \(f(x,y)\geq12/(25x^2)\),因此 \(\int f^+\geq(6/25)\int_0^1dx/x=\infty\)。交换 \(x,y\) 使函数变号,故 \(\int f^-=\infty\) 也成立。这个函数没有勒贝格积分,两个累次积分不能被认作同一个二重积分;在原点随意补一个值也无法修复发散。

9.4.4 独立性的测度与函数判据

定义 9.4-2 独立的σ代数与随机变量

同一概率空间上的子 \(\sigma\) 代数族 \((\mathcal G_i)_{i\in I}\) 称为相互独立(mutually independent),若任意有限个不同指标 \(i_1,\ldots,i_k\) 及 \(A_j\in\mathcal G_{i_j}\) 都满足

\[P\!\left(\bigcap_{j=1}^kA_j\right)=\prod_{j=1}^kP(A_j).\]
(9.4-7)

随机变量族 \((X_i)\) 独立,指其生成的 \(\sigma(X_i)\) 相互独立。无限族的定义要求每个有限子族都独立;只检查两两组合不够。

定理 9.4-3 实随机变量的等价判据

设 \(X,Y\) 的边缘分布为 \(\mu_X,\mu_Y\),联合分布为 \(\mu_{(X,Y)}\)。以下条件等价:

  1. \(\sigma(X)\) 与 \(\sigma(Y)\) 独立。
  2. \(\mu_{(X,Y)}=\mu_X\otimes\mu_Y\) 在 \(\mathcal B(\mathbb R^2)\) 上成立。
  3. 所有有界博雷尔函数 \(a,b\) 都满足 \(\mathbb E[a(X)b(Y)]=\mathbb E[a(X)]\mathbb E[b(Y)]\)。
  4. 所有有理数 \(s,t\) 都满足 \(P(X\leq s,Y\leq t)=P(X\leq s)P(Y\leq t)\)。
证明

独立性使两个概率测度在每个矩形 \(A\times B\) 上相等,矩形构成生成博雷尔事件族的 \(\pi\) 系统,故测度唯一性给出 1 推出 2;在矩形上代入又得反向。由 2,用 Fubini 分离 \(a(x)b(y)\) 得到 3;这里有界性和概率总质量为一保证绝对可积。由 3 取指标函数可得 1。

1 直接推出 4。反之,有理端点左下象限 \((-\infty,s]\times(-\infty,t]\) 构成 \(\pi\) 系统,并生成 \(\mathcal B(\mathbb R^2)\):先将另一端点趋于正无穷得到坐标半空间,再用 9.1 节的半直线生成结论。4 使联合分布与乘积分布在该族上一致,唯一性给出 2。

若存在联合密度 \(p\),Tonelli 给出边缘密度 \(p_X(x)=\int p(x,y)\,dy\) 和 \(p_Y(y)=\int p(x,y)\,dx\)。独立当且仅当 \(p(x,y)=p_X(x)p_Y(y)\) 对二维勒贝格测度几乎处处成立;密度在零集上的版本不影响判定。仅有 \(\mathbb E[XY]=\mathbb EX\,\mathbb EY\) 只涉及一对函数,通常不能推出独立。

生成族检验与分组。若两个 \(\sigma\) 代数由含全集的 \(\pi\) 系统生成,只需在两个生成族之间验证独立等式。固定第二个事件,使等式成立的第一个事件组成 \(\lambda\) 系统;扩展第一个生成族后,再固定第一个事件扩展第二个。对有限多个族逐个重复。独立变量的每个不交指标组都可用有限坐标事件的交作 \(\pi\) 系统,即使组内有无限多个变量也如此。故各组生成的 \(\sigma\) 代数仍独立,各组的可测函数也独立。这些判据的标准形式见 Durrett 第 2.1 节。

9.4.5 构造可数个独立随机变量

给定实数上的概率分布 \(\mu_1,\mu_2,\ldots\),要在 \(\mathbb R^{\mathbb N}\) 上构造坐标变量独立的概率,先指定有限维柱集(cylinder set)的质量:

\[P\{\omega:\omega_1\in A_1,\ldots,\omega_n\in A_n\}=\prod_{j=1}^n\mu_j(A_j),\qquad A_j\in\mathcal B(\mathbb R).\]
(9.4-8)

柱集生成乘积 \(\sigma\) 代数,故这样的概率若存在就唯一。添加一个不受限制的坐标不会改变质量,但这项有限维相容性本身尚未证明可数可加的扩张存在。对实值独立序列,可以直接作如下构造。

构造 9.4-1 分配二进制位

在 \([0,1)\) 上取均匀变量 \(U\),令 \(\varepsilon_k=\lfloor2^kU\rfloor-2\lfloor2^{k-1}U\rfloor\)。每个长度为 \(m\) 的零一前缀对应长度 \(2^{-m}\) 的半开区间,所以前 \(m\) 位均匀分布于全部 \(2^m\) 个前缀。任意有限组指定位的概率由补齐未指定位求和,等于 \(2^{-r}\),其中 \(r\) 为指定位数。这证明 \((\varepsilon_k)\) 相互独立且每位取零、一的概率各为一半;二进有理数由公式自动取终止表示。

把正整数分成互不相交的无限集 \(I_n=\{2^{n-1}(2j-1):j\geq1\}\),并定义

\[U_n=\sum_{j=1}^{\infty}2^{-j}\varepsilon_{\,2^{n-1}(2j-1)},\qquad n\geq1.\]
(9.4-9)

每个 \(U_n\) 是相应一组位的可测函数,上一部分的分组判据保证各 \(U_n\) 相互独立。其前 \(m\) 项和 \(V_{n,m}\) 均匀分布于 \(\{k2^{-m}:0\leq k<2^m\}\),而 \(0\leq U_n-V_{n,m}\leq2^{-m}\)。因此 \(P(V_{n,m}\leq t-2^{-m})\leq P(U_n\leq t)\leq P(V_{n,m}\leq t)\)。令 \(m\to\infty\),得到 \(P(U_n\leq t)=t\)(\(0\leq t\leq1\))。故每个 \(U_n\) 均匀分布,端点概率为零。

若 \(F_n\) 是目标分布函数,取广义分位数 \(Q_n(u)=\inf\{x:F_n(x)\geq u\}\)(\(0<u<1\))。它可测且 \(P(Q_n(U_n)\leq x)=P(U_n\leq F_n(x))=F_n(x)\)。端点可任意定义。令 \(X_n=Q_n(U_n)\),即可得到所需独立序列;序列映射 \(U\mapsto(X_1,X_2,\ldots)\) 的推前概率满足式 (9.4-8)。

把一个均匀变量的二进制位分给独立序列 第n行使用位号2的n减一次方乘以2j减1。前三行依次使用1、3、5、7;2、6、10、14;4、12、20、28。各行位号互不重叠。 每行使用互不重叠的一组二进制位 第一行第二行第三行 第 1 位第 3 位第 5 位第 7 位 第 2 位第 6 位第 10 位第 14 位 第 4 位第 12 位第 20 位第 28 位 ……… 第一个均匀变量第二个均匀变量第三个均匀变量 每行按从左到右的顺序,作为新数的小数位 分组示意;未画出的行与后续位按同一规则继续
图 9.4-2 式 (9.4-9) 的位号分配。独立性来自原始位的有限联合分布及不交分组,不能仅由图中各行分开排列推出。

这个构造处理任意指定的实值边缘分布。更一般的相容有限维分布可用 Kolmogorov 扩张定理;其一般状态空间版本需说明空间条件,不能将有限维相容性无条件套到任意可测空间。相关表述见 Durrett 第 2.1.4 节与附录 A.3。

9.4.6 练习与解答

习题 9.4-1 由联合分布计算概率

设 \(X,Y\) 独立,且均服从参数为一的指数分布。计算 \(P(X+Y\leq t)\)(\(t\geq0\)),并说明换序或累次积分的依据。

解

独立性给出联合密度 \(e^{-x-y}\mathbf1_{\{x>0,y>0\}}\)。区域指标乘密度非负,适用 Tonelli。因此 \(P(X+Y\leq t)=\int_0^t e^{-x}\int_0^{t-x}e^{-y}\,dy\,dx=\int_0^t(e^{-x}-e^{-t})\,dx=1-(1+t)e^{-t}\)。在 \(t=0\) 时为零,趋于无穷时趋于一;相应和的密度为 \(te^{-t}\mathbf1_{\{t>0\}}\)。

习题 9.4-2 证明尾积分公式

对任意非负随机变量 \(Z\),证明 \(\mathbb EZ=\int_0^\infty P(Z>t)\,dt\),允许两端为无穷。进而给出 \(\mathbb EZ^p\) 的公式,其中 \(p>0\)。

解

逐点有 \(Z(\omega)=\int_0^\infty\mathbf1_{\{t<Z(\omega)\}}\,dt\)。该指标函数在概率空间与 \([0,\infty)\) 的乘积上可测,因为 \((\omega,t)\mapsto Z(\omega)-t\) 可测;若允许 \(Z=\infty\),也可先截断 \(Z\)。两因子测度 \(\sigma\) 有限,Tonelli 给出所求等式。再用 \(z^p=\int_0^zpt^{p-1}\,dt\) 得到 \(\mathbb EZ^p=\int_0^\infty pt^{p-1}P(Z>t)\,dt\),积分是否有限不影响恒等式。

习题 9.4-3 两两独立不足以确定三维乘积分布

设 \(B_1,B_2\) 是独立的公平零一变量,令 \(B_3=(B_1+B_2)\bmod2\)。证明三者两两独立,却不相互独立,并指出哪个有限维检验失败。

解

可能的三元组为 \(000,011,101,110\),各概率 \(1/4\)。投影到任意两个坐标,都得到四种零一对且各概率 \(1/4\),因此两两独立。但 \(P(B_1=B_2=B_3=0)=1/4\),三个变量各自取零的概率乘积为 \(1/8\)。三维矩形 \(\{0\}^3\) 已使乘积公式失败,所以不能据两维投影宣称序列相互独立。

习题 9.4-4 非负性不能替代σ有限性

在 \([0,1]\) 的博雷尔事件族上,令 \(\mu\) 为计数测度、\(\nu\) 为长度测度,取 \(f(x,y)=\mathbf1_{\{x=y\}}\)。计算两种累次积分,解释为何不违反本节定理。

解

固定 \(x\),对 \(y\) 的非零集是单点,长度为零,故 \(\int\int f(x,y)\,\nu(dy)\mu(dx)=0\)。固定 \(y\),对 \(x\) 的单点计数测度为一,故 \(\int\int f(x,y)\,\mu(dx)\nu(dy)=1\)。对角线是闭集,函数确实乘积可测且非负。失效的是 \(\mu\) 的 \(\sigma\) 有限性:有限计数测度集合只能有限,可数个此类集合无法覆盖不可数的 \([0,1]\)。

关键术语

  • 乘积 \(\sigma\) 代数:可测矩形生成的事件族。
  • 截面:固定一个坐标后得到的集合或函数。
  • 乘积测度:在矩形上满足因子测度相乘的测度。
  • Tonelli 定理:非负可测函数的乘积积分等于累次积分,允许无穷。
  • Fubini 定理:绝对可积函数可以交换积分顺序,截面几乎处处可积。
  • 独立的 \(\sigma\) 代数:任取有限个不同族中的事件,交的概率等于概率乘积。
  • 联合分布:随机向量在目标乘积空间上的推前概率。
  • 柱集:只对有限多个坐标施加可测限制的事件。

参考文献与延伸阅读

  1. Durrett, R. (2019). Probability: Theory and Examples, 5th ed.,作者版本。第 1.7 节的乘积测度、积分换序及反例;第 2.1 节的独立性判据与序列构造,附录 A.3 的扩张定理。
  2. Polyanskiy, Y. (2018). MIT 6.436J,Lecture 9: Product Measure and Fubini's Theorem。截面构造、非负与可积两种换序定理,以及条件失效的反例。