第 9 章 · 概率空间与测度积分

9.6 绝对连续与拉东—尼科迪姆定理

Absolute Continuity and Radon–Nikodym
概率密度必须相对于某个参照测度定义。本节区分绝对连续与互相奇异,用有限差测度的Hahn分解和最大积分构造证明拉东—尼科迪姆定理,继而得到勒贝格分解。通过含原子及Cantor成分的混合分布、指数分布的似然比,说明密度如何随参照改变,以及换测度恒等式与倒数公式各自需要的条件。
学习准备与证明范围

本节使用测度的连续性和勒贝格积分、单调收敛定理;混合与Cantor分布见9.2节。所有测度定义在同一可测空间 \((\Omega,\mathcal F)\) 上。“正测度”指非负测度,允许零测度。存在性证明先完整处理有限正测度,再给出 \(\sigma\) 有限的拼接步骤;辅助Hahn引理限于两个有限正测度之差。

9.6.1 绝对连续与互相奇异

定义 9.6-1 比较两种测度

若每个 \(A\in\mathcal F\) 都满足 \(\mu(A)=0\Rightarrow\nu(A)=0\),称 \(\nu\) 关于 \(\mu\)绝对连续(absolutely continuous),记作 \(\nu\ll\mu\)。若存在 \(N\in\mathcal F\),使 \(\mu(N)=0\)、\(\nu(N^c)=0\),称两测度互相奇异(mutually singular),记作 \(\nu\perp\mu\)。若两方向均绝对连续,称它们等价(equivalent),记作 \(\nu\sim\mu\)。

绝对连续比较零测集,不要求测度值接近。例如 \(2\mu\ll\mu\)。奇异则允许某个对 \(\mu\) 完全无质量的集合承载全部 \(\nu\) 质量;点质量 \(\delta_0\) 与勒贝格测度 \(\lambda\) 奇异,Cantor分布也与 \(\lambda\) 奇异。后者的CDF却连续;对实分布,相对于 \(\lambda\) 的绝对连续比CDF连续更强。

若 \(\nu\ll\mu\) 且 \(\nu\perp\mu\),则 \(\nu=0\):取定义中的 \(N\),绝对连续使 \(\nu(N)=0\),奇异性使 \(\nu(N^c)=0\)。此外,若已有非负可测 \(f\) 满足 \(\nu(A)=\int_A f\,d\mu\),就立即有 \(\nu\ll\mu\)。拉东—尼科迪姆定理处理反方向:零测集条件何时足以保证密度存在。

9.6.2 有限差测度的Hahn分解

证明中需要比较 \(\rho\) 与 \(\varepsilon\mu\),其差可能为负。设 \(\eta=\alpha-\beta\),其中 \(\alpha,\beta\) 是有限正测度。这样的有限有符号测度(finite signed measure)保持可数可加性,也保持集合单调极限下的连续性,因为两项分别具有这些性质。

引理 9.6-1 Hahn分解的有限情形

存在不交可测集 \(H,N\),使 \(\Omega=H\cup N\),且 \(H\) 的每个可测子集 \(A\) 满足 \(\eta(A)\ge0\),\(N\) 的每个可测子集 \(A\) 满足 \(\eta(A)\le0\)。它们分别称为正集与负集;仅有 \(\eta(H)\ge0\) 不足以成为正集。

证明。令 \(c=\inf_{A\in\mathcal F}\eta(A)\)。因为 \(-\beta(\Omega)\le\eta(A)\le\alpha(\Omega)\),下确界有限。选 \(A_n\) 使 \(\eta(A_n)<c+2^{-n}\)。由

\[\eta(A\cup B)=\eta(A)+\eta(B)-\eta(A\cap B)\le\eta(A)+\eta(B)-c,\]
(9.6-1)

归纳得 \(\eta(\bigcup_{n=m}^kA_n)\le c+\sum_{n=m}^k2^{-n}\)。令 \(B_m=\bigcup_{n\ge m}A_n\),先对 \(k\to\infty\) 用下连续性,再对 \(m\to\infty\) 用上连续性,得到

\[c\le\eta(B_m)\le c+2^{1-m},\qquad N=\bigcap_{m\ge1}B_m,\qquad \eta(N)=c.\]
(9.6-2)

若某个可测 \(A\subseteq N\) 有 \(\eta(A)>0\),则 \(\eta(N\setminus A)=c-\eta(A)<c\),矛盾,故 \(N\) 为负集。若某个可测 \(A\subseteq N^c\) 有 \(\eta(A)<0\),则 \(\eta(N\cup A)=c+\eta(A)<c\),同样矛盾,故 \(H=N^c\) 为正集。证毕。

这里使用了两测度有限,以保证下确界有限且所有差值均有意义。一般有符号测度的Hahn分解需要另行处理无穷值;可查参考文献[1]附录A.4,本节后续只调用上述已证明的版本。

9.6.3 拉东—尼科迪姆导数的存在与唯一

定理 9.6-2 拉东—尼科迪姆定理

设 \(\mu,\nu\) 均为 \(\sigma\) 有限正测度,且 \(\nu\ll\mu\)。则存在非负可测函数 \(f\),满足

\[\nu(A)=\int_A f\,d\mu\quad(A\in\mathcal F),\qquad f=\frac{d\nu}{d\mu}.\]
(9.6-3)

\(f\) 在 \(\mu\) 几乎处处意义下唯一,称为拉东—尼科迪姆导数(Radon–Nikodym derivative)。在这些假设下可取 \(f\) 处处有限;若 \(\nu\) 有限,则 \(f\in L^1(\mu)\)。

有限情形:构造候选函数。暂设 \(\mu,\nu\) 有限。考虑所有不会在任何可测集上超过 \(\nu\) 的密度:

\[\mathcal G=\left\{g\ge0\text{ 可测}:\int_Ag\,d\mu\le\nu(A)\ \text{对所有 }A\in\mathcal F\right\},\qquad M=\sup_{g\in\mathcal G}\int g\,d\mu.\]
(9.6-4)

零函数属于 \(\mathcal G\),且 \(0\le M\le\nu(\Omega)<\infty\)。若 \(g,h\in\mathcal G\),将 \(A\) 分成 \(A\cap\{g\ge h\}\) 与其余部分,分别应用控制条件,就得 \(\int_A\max(g,h)\,d\mu\le\nu(A)\)。所以 \(\mathcal G\) 对有限最大值封闭。

选 \(g_n\in\mathcal G\) 使 \(\int g_n\,d\mu>M-1/n\),令 \(h_n=\max(g_1,\ldots,g_n)\)、\(h=\lim_nh_n\)。单调收敛定理对每个 \(A\) 给出 \(\int_Ah\,d\mu\le\nu(A)\),并给出 \(\int h\,d\mu=M\)。因积分有限,可把 \(h=\infty\) 的 \(\mu\) 零测集上的值改为0。剩余部分

\[\rho(A)=\nu(A)-\int_Ah\,d\mu\]
(9.6-5)

是有限正测度:非负性来自控制条件,可数可加性来自两个有限测度相减。这一构造到此尚未用到 \(\nu\ll\mu\)。

消除剩余质量。现在使用绝对连续性,得到 \(\rho\ll\mu\)。若 \(\rho(\Omega)>0\),可选 \(\varepsilon>0\) 使 \(\rho(\Omega)>\varepsilon\mu(\Omega)\)。对 \(\eta=\rho-\varepsilon\mu\) 应用引理,取正集 \(H\)。因负集上的差值非正,\(\eta(H)\ge\eta(\Omega)>0\),从而 \(\rho(H)>0\),绝对连续性又保证 \(\mu(H)>0\)。对每个可测 \(A\),正集性质给出

\[\int_A(h+\varepsilon\mathbf1_H)\,d\mu\le\int_Ah\,d\mu+\rho(A\cap H)\le\nu(A).\]
(9.6-6)

因此 \(h+\varepsilon\mathbf1_H\in\mathcal G\),其积分为 \(M+\varepsilon\mu(H)>M\),矛盾。故 \(\rho=0\),\(h\) 就是所求密度。

唯一性。若 \(f,h\) 均表示同一个有限 \(\nu\),则两者可积。在 \(A_n=\{f\ge h+1/n\}\) 上,\(0=\int_{A_n}(f-h)\,d\mu\ge\mu(A_n)/n\)。取可数并得 \(\mu(f>h)=0\),交换两者即得 \(\mu(f\ne h)=0\)。有限情形证毕。

\(\sigma\) 有限推广。先将 \(\mu\) 的有限测度覆盖与 \(\nu\) 的有限测度覆盖两两取交,再枚举、依次扣除先前集合,得到不交分割 \(\Omega=\bigcup_kE_k\),且每个 \(E_k\) 对两测度都有限。在各 \(E_k\) 上应用已证明的定理,得到 \(f_k\)。令 \(f=\sum_k\mathbf1_{E_k}f_k\),则 \(\int_Af\,d\mu=\sum_k\nu(A\cap E_k)=\nu(A)\);唯一性也逐块成立。每块上 \(f_k\) 几乎处处有限,可合并可数个例外集后统一改为0。习题9.6-3说明不能任意删去参照测度的 \(\sigma\) 有限假设。

9.6.4 勒贝格分解与混合分布

定理 9.6-3 勒贝格分解

任意两个 \(\sigma\) 有限正测度 \(\mu,\nu\) 都存在唯一分解

\[\nu=\nu_{\mathrm{ac}}+\nu_{\mathrm{s}},\qquad \nu_{\mathrm{ac}}\ll\mu,\qquad \nu_{\mathrm{s}}\perp\mu,\qquad \nu_{\mathrm{ac}}(A)=\int_Ah\,d\mu.\]
(9.6-7)

两部分称为绝对连续部分与奇异部分;它们是测度,通常不各自归一化为概率测度。

有限情形的存在性。重新使用上节构造,取积分最大的 \(h\) 与剩余正测度 \(\rho\),不假设 \(\nu\ll\mu\)。对每个 \(n\),令 \(H_n\) 是 \(\rho-\mu/n\) 的Hahn正集。式(9.6-6)仍说明 \(h+\mathbf1_{H_n}/n\in\mathcal G\),最大性迫使 \(\mu(H_n)=0\)。令 \(N=\bigcup_nH_n\),便有 \(\mu(N)=0\)。又因 \(N^c\subseteq H_n^c\),负集性质给出 \(0\le\rho(N^c)\le\mu(N^c)/n\)。\(\mu\) 有限,令 \(n\to\infty\) 得 \(\rho(N^c)=0\),即 \(\rho\perp\mu\)。取 \(\nu_{\mathrm{s}}=\rho\) 即成。

唯一性。若有两种分解,将两奇异部分各自集中的 \(\mu\) 零测集取并为 \(N\)。两绝对连续部分在 \(N\) 上都为0,在 \(N^c\) 上都等于 \(\nu\),故作为测度相等;剩下的奇异部分也相等。\(\sigma\) 有限情形用上一节的共同有限分割逐块构造与比较,所有零测集可数并仍为零测集。这也完成了推广。

例 9.6-1 同一分布,更换参照

在 \([0,1]\) 上取 \(\mu=\lambda|_{[0,1]}\),令 \(\gamma\) 为9.2节的Cantor概率测度,\(K\) 为Cantor集。考虑

\[\nu=\tfrac12\mu+\tfrac14\delta_0+\tfrac14\gamma,\qquad \nu_{\mathrm{ac}}=\tfrac12\mu,\qquad \nu_{\mathrm{s}}=\tfrac14\delta_0+\tfrac14\gamma.\]
(9.6-8)

因为 \(\mu(K)=0\)、\(\gamma(K)=1\)、\(0\in K\),奇异部分确实集中在 \(K\),总质量为 \(1/2\)。它包含一个原子和一个奇异连续成分。整个 \(\nu\) 不存在关于 \(\mu\) 的密度,因为 \(\nu(\{0\})=1/4\),而 \(\mu(\{0\})=0\)。

若改取有限参照测度 \(\kappa=\mu+\delta_0+\gamma\),则 \(\nu\ll\kappa\),且可取 \(d\nu/d\kappa=1/2\) 于 \(K^c\)、\(1/4\) 于 \(K\)。例如对任意可测 \(A\),把积分按 \(A\cap K^c\) 与 \(A\cap K\) 分开,恰得 \(\mu(A)/2+\delta_0(A)/4+\gamma(A)/4\)。这里 \(\kappa(\Omega)=3\),但密度的积分仍为1。

混合分布相对于区间长度的勒贝格分解 总概率条分成一半的绝对连续部分、四分之一的原子部分与四分之一的Cantor部分。后两部分共同集中在长度为零的Cantor集上,改用包含这两种测度的参照后都能写出密度。 总概率为 1:相对于区间长度的分解 绝对连续部分1/2 原子1/4 奇异连续1/4 两部分都集中在 Cantor 集 K 上 参照长度给 K 的质量:0 该分布给 K 的概率:1/2 条形宽度表示概率质量;框图不表示集合的几何面积
图 9.6-1 例9.6-1中两种奇异成分的质量。勒贝格分解只按相对于 \(\mu\) 是否绝对连续来划分;奇异部分内部仍可同时含原子与连续质量。

对于实分布,普通概率密度是 \(dP_X/d\lambda\)。一般分布若含非零奇异部分,这个整体导数就不存在;只能给绝对连续部分写出相对于 \(\lambda\) 的密度。CDF连续并不能排除奇异部分。

9.6.5 换测度恒等式与似然比

命题 9.6-4 把积分改写到参照测度下

设 \(\nu\ll\mu\),且 \(f=d\nu/d\mu\)。对非负可测 \(g\),下式允许两端为 \(+\infty\),乘积采用 \(0\cdot\infty=0\) 的约定;对有正负号的 \(g\),若 \(\int|g|\,d\nu<\infty\),两端均为有限值:

\[\int g\,d\nu=\int gf\,d\mu,\qquad \int|g|\,d\nu=\int|g|f\,d\mu.\]
(9.6-9)

证明。当 \(g=\mathbf1_A\) 时就是密度的定义;有限非负线性组合给出简单函数情形。对一般非负 \(g\),取简单函数 \(g_n\uparrow g\),则 \(g_nf\uparrow gf\),两次单调收敛即得等式。应用于 \(|g|\) 得可积性等价;再分别积分正部与负部,得到可积有符号情形。证毕。

对概率测度 \(Q\ll P\),记似然比(likelihood ratio)\(L=dQ/dP\),则 \(E_P[L]=1\),且 \(E_Q[X]=E_P[XL]\) 对非负 \(X\) 或 \(Q\) 可积的 \(X\) 成立。反过来,任何非负可测 \(L\) 满足 \(E_P[L]=1\),都由 \(Q(A)=E_P[L\mathbf1_A]\) 定义概率测度。事件、随机变量保持原样,改变的是赋予事件的概率。

有 \(Q\sim P\) 当且仅当 \(L>0\) 在 \(P\) 几乎必然意义下成立:若 \(L>0\),\(\int_A L\,dP=0\) 迫使 \(P(A)=0\);反向看集合 \(\{L=0\}\)。在等价情形,可取 \(dP/dQ=1/L\) 于 \(\{L>0\}\),其余处任取非负有限值,因为对每个 \(A\),\(\int_A L^{-1}\,dQ=P(A\cap\{L>0\})=P(A)\)。单向绝对连续时不能直接取倒数。

例 9.6-2 缩短指数等待时间

在 \([0,\infty)\) 上,令 \(P\) 是率为1的指数分布,\(Q\) 是率为2的指数分布,坐标随机变量为 \(X(x)=x\)。它们的勒贝格密度分别为 \(p(x)=e^{-x}\)、\(q(x)=2e^{-2x}\),所以

\[L(x)=\frac{q(x)}{p(x)}=2e^{-x},\qquad E_P[L]=\int_0^\infty2e^{-2x}\,dx=1.\]
(9.6-10)

换测度后,对于 \(t\ge0\),\(Q(X>t)=E_P[L\mathbf1_{\{X>t\}}]=\int_t^\infty2e^{-2x}\,dx=e^{-2t}\)。同样,\(E_Q[X]=E_P[XL]=2\int_0^\infty xe^{-2x}\,dx=1/2\)。两测度等价,故反向导数为 \(e^x/2\),在 \(Q\) 下积分为1。\(L(x)>1\) 当 \(x<\log2\),这不违反概率上界,因为 \(L\) 是密度比。

两个指数密度与换测度的似然比 左图在零至三上比较率为一和率为二的指数密度。右图画出密度之比,在对数二处穿过一;较小等待时间得到较大权重。 同一坐标,两种指数密度 似然比 p q 012 012 0123 0123 log 2xx 曲线按公式等距采样连线 密度比可以大于 1
图 9.6-2 \(p(x)=e^{-x}\)、\(q(x)=2e^{-2x}\) 与 \(L(x)=2e^{-x}\),显示区间为 \([0,3]\)。从 \(P\) 到 \(Q\),靠近0的结果权重增加,远端结果权重减少;归一化条件是 \(E_P[L]=1\)。

9.6.6 习题与解答

习题 9.6-1 从零测集条件到一致的小集控制

设 \(\mu,\nu\) 有限且 \(\nu\ll\mu\)。证明对每个 \(\varepsilon>0\),存在 \(\delta>0\),使 \(\mu(A)<\delta\Rightarrow\nu(A)<\varepsilon\)。

完整解答

由RN定理,\(\nu=f\mu\) 且 \(f\in L^1(\mu)\)。因 \(f\mathbf1_{\{f\le K\}}\uparrow f\) 几乎处处,单调收敛及 \(\int f\,d\mu<\infty\) 使尾部积分趋于0。故可取 \(K\ge1\) 使 \(\int_{\{f>K\}}f\,d\mu<\varepsilon/2\)。令 \(\delta=\varepsilon/(2K)\),则

\[\nu(A)=\int_Af\,d\mu\le K\mu(A)+\int_{\{f>K\}}f\,d\mu<\varepsilon.\]
(9.6-11)

\(\delta\) 与 \(A\) 无关。反过来,这种控制也蕴含绝对连续:若 \(\mu(A)=0\),则 \(\nu(A)<\varepsilon\) 对每个正 \(\varepsilon\) 成立,故 \(\nu(A)=0\)。

习题 9.6-2 正态分布的指数倾斜

在 \(P\) 下 \(X\sim N(0,1)\)。固定 \(\theta\in\mathbb R\),用权重 \(e^{\theta X}\) 构造概率测度 \(Q\)。求归一化常数、\(X\) 在 \(Q\) 下的分布和 \(Q(X>\theta)\)。

完整解答

配方给出 \(\theta x-x^2/2=-(x-\theta)^2/2+\theta^2/2\)。对标准正态密度积分得 \(E_P[e^{\theta X}]=e^{\theta^2/2}\),因此

\[L=e^{\theta X-\theta^2/2},\qquad q(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2}e^{\theta x-\theta^2/2}=\frac1{\sqrt{2\pi}}e^{-(x-\theta)^2/2}.\]
(9.6-12)

所以 \(X\) 在 \(Q\) 下服从 \(N(\theta,1)\),\(E_Q[X]=\theta\),\(Q(X>\theta)=1/2\)。\(L>0\) 处处成立,故两测度等价;改变的是 \(X\) 的分布而非坐标函数本身。

习题 9.6-3 参照测度非σ有限时

在 \([0,1]\) 的博雷尔事件族上,令 \(\mu\) 为计数测度、\(\nu\) 为勒贝格测度。证明 \(\nu\ll\mu\),但不存在非负可测 \(f\) 使 \(\nu(A)=\int_A f\,d\mu\) 对所有博雷尔集成立。

完整解答

计数测度唯一的零测集是空集,所以绝对连续成立。若存在 \(f\),对每个 \(x\in[0,1]\) 取 \(A=\{x\}\),便有 \(0=\nu(\{x\})=f(x)\)。于是 \(f\) 处处为0,无法给出 \(\nu([0,1])=1\)。\(\mu\) 的有限测度集只能是有限集,可数个此类集合的并仍可数,不能覆盖 \([0,1]\);故它不 \(\sigma\) 有限,定理假设确实被破坏。

习题 9.6-4 为何似然比不能总取倒数

令 \(P=U(0,1)\),\(L=2\mathbf1_{(0,1/2)}\),由 \(Q(A)=E_P[L\mathbf1_A]\) 定义 \(Q\)。求 \(Q\),判断两方向的绝对连续性,并检验 \(1/L\) 能否表示 \(dP/dQ\)。

完整解答

\(E_P[L]=1\),且 \(Q=U(0,1/2)\),所以 \(Q\ll P\)。但是 \(Q((1/2,1))=0\),\(P((1/2,1))=1/2\),故 \(P\not\ll Q\)。在 \(L>0\) 上取倒数 \(1/2\),在其余处任取有限值,都只得到 \(\int (1/L)\,dQ=1/2\),不等于 \(P(\Omega)=1\)。这种积分只能恢复 \(P\) 在 \((0,1/2)\) 上的限制,无法恢复被 \(Q\) 赋予零质量的另一半。

关键术语

绝对连续 \(\nu\ll\mu\)
参照测度的每个零测集也为目标测度的零测集。
互相奇异 \(\nu\perp\mu\)
目标测度可以集中在参照测度的一个零测集上。
等价测度
具有相同零测集的两种测度。
Hahn正集与负集
要求其中所有可测子集的差测度值分别非负、非正。
拉东—尼科迪姆导数
通过对全部可测集的积分来表示另一测度的密度,只有几乎处处唯一性。
勒贝格分解
相对于固定参照,将测度唯一拆为绝对连续部分与奇异部分。
似然比
概率测度之间的RN导数,其在参照概率下的期望为1。
换测度恒等式
把目标测度下的积分改写成参照测度下乘以RN导数的积分。

参考文献与延伸阅读

  1. Durrett, R. (2019). Probability: Theory and Examples, 5th ed. 作者公开版本,附录A.4,尤其Theorems A.4.5、A.4.7、A.4.8:Hahn分解、勒贝格分解与RN定理。本节将所需有限差测度引理单独展开。
  2. Polyanskiy, Y. (2018). MIT 6.436J / 15.085J, Lecture 8: Abstract Integration II. 大学官方讲义,§2.3及Theorem 2给出密度表示下的积分换算,可对照本节命题9.6-4;RN存在性证明参见文献[1]。