使用9.1节的生成族、概率连续性与测度唯一性。计算基础可复习CDF和变量变换。以下随机变量取有限实值;\(\mathcal B(\mathbb R)\) 表示博雷尔 \(\sigma\) 代数,\(\lambda\) 表示勒贝格测度。一般状态空间只在可测映射的定义中出现。
9.2.1 可测映射与观测生成的事件
在给定的概率空间上,\(\{X\le x\}\) 必须是事件,\(P(X\le x)\) 才有定义。有限样本空间取全部子集为事件时,这个要求自动满足;一般空间需要检查它。
给定可测空间 \((\Omega,\mathcal F)\)、\((S,\mathcal S)\),映射 \(X:\Omega\to S\) 称为可测映射(measurable map),若对每个 \(B\in\mathcal S\),都有 \(X^{-1}(B)\in\mathcal F\)。当 \((S,\mathcal S)=(\mathbb R,\mathcal B(\mathbb R))\) 时,称 \(X\) 为随机变量(random variable)。这里 \(X^{-1}(B)\) 是集合的原像,不要求 \(X\) 可逆。
原像保持补集与可数并,故 \(\sigma(X)\) 自身是 \(\sigma\) 代数,也是使 \(X\) 可测的最小事件族。它包含仅凭观测 \(X\) 就能判断的事件。
若 \(\mathcal S=\sigma(\mathcal G)\),且每个 \(G\in\mathcal G\) 的原像都属于 \(\mathcal F\),则 \(X\) 可测。特别地,实值 \(X\) 可测当且仅当 \(\{X\le q\}\in\mathcal F\) 对所有 \(q\in\mathbb Q\) 成立。
证明。令 \(\mathcal H=\{B\subseteq S:X^{-1}(B)\in\mathcal F\}\)。由原像的集合运算律,\(\mathcal H\) 是 \(S\) 上的 \(\sigma\) 代数。假设给出 \(\mathcal G\subseteq\mathcal H\),所以 \(\mathcal S=\sigma(\mathcal G)\subseteq\mathcal H\)。实值情形应用9.1节中有理端点半直线生成 \(\mathcal B(\mathbb R)\) 的结论。证毕。
若 \(g:(S,\mathcal S)\to(T,\mathcal T)\) 可测,则 \((g\circ X)^{-1}(A)=X^{-1}(g^{-1}(A))\in\mathcal F\),故复合仍可测。连续实函数因此可用于构造 \(X^2\)、\(\sin X\) 等随机变量。相反,若 \(A\notin\mathcal F\),指示函数 \(\mathbf1_A\) 就不可测,因为 \(\{\mathbf1_A>1/2\}=A\)。
9.2.2 推前分布与CDF的完整信息
在概率空间 \((\Omega,\mathcal F,P)\) 上,可测映射 \(X\) 的分布(law)是状态空间上的推前测度(pushforward measure):
因为不交集合的原像仍不交,\(P_X(\bigcup_n B_n)=\sum_nP_X(B_n)\),且 \(P_X(S)=1\)。这证明了 \(P_X\) 确为概率测度。进一步,\(P_{g(X)}=P_X\circ g^{-1}\):求变量变换的分布,只需在原分布下计算原像的概率。
实值情形的累积分布函数(cumulative distribution function,CDF)为 \(F_X(x)=P_X((-\infty,x])\)。它非减、右连续,并满足两端极限为0与1。右连续来自事件 \(\{X\le x_n\}\downarrow\{X\le x\}\)(\(x_n\downarrow x\))与概率的上连续性;两端极限同理由事件递增到 \(\Omega\)、递减到空集得到。记左极限 \(F_X(x-)=\lim_{t\uparrow x}F_X(t)\),则对 \(a<b\) 有
因此CDF的跳跃大小就是该点的质量,CDF连续等价于处处无原子。若两个概率测度具有相同CDF,它们在半直线 \((-\infty,x]\) 上相等;这些半直线是生成博雷尔事件族的 \(\pi\) 系,由9.1节的唯一性定理,两测度在全部博雷尔集上相等。CDF已经确定整个分布,不必另外指定密度。
9.2.3 广义逆构造与概率积分变换
设 \(F:\mathbb R\to[0,1]\) 非减、右连续,且 \(\lim_{x\to-\infty}F(x)=0\)、\(\lim_{x\to+\infty}F(x)=1\)。定义分位数广义逆(quantile function)
则 \(Q_F\) 有限且可测。若 \(U\sim U(0,1)\),\(Q_F(U)\) 的CDF恰为 \(F\)。结合上一部分的唯一性,满足这三项条件的函数与实数轴上的博雷尔概率测度一一对应。
证明。固定 \(u\in(0,1)\)。由两端极限,集合 \(A_u=\{x:F(x)\ge u\}\) 非空且有下界,故 \(q=Q_F(u)\) 有限。对每个 \(n\),可选 \(z_n\in A_u\) 使 \(q\le z_n<q+1/n\),因而 \(F(q+1/n)\ge u\)。令 \(n\to\infty\),右连续性给出 \(F(q)\ge u\)。于是
正向由 \(F(q)\ge u\) 与单调性得到;反向因为 \(x\in A_u\)。这同时证明 \(Q_F\) 的半直线原像为 \((0,F(x)]\cap(0,1)\),故它可测。在 \((0,1)\) 上取勒贝格概率测度,即得
它给出所需随机变量及推前概率测度。证毕。
广义逆能处理跳跃与平坦区间。通常意义的反函数只在单射上存在,而式(9.2-4)对每个CDF都适用;端点 \(u=0,1\) 不在定义域内,也不影响均匀随机数的分布。
若 \(X\) 的CDF \(F\) 连续,则 \(F(X)\sim U(0,1)\)。这里无需严格递增,也无需存在密度。
证明。对 \(q=Q_F(u)\),上面的证明给出 \(F(q)\ge u\);而所有 \(t<q\) 都满足 \(F(t)<u\),故 \(F(q-)\le u\)。连续性使两端相等,于是 \(F(Q_F(u))=u\)。单调函数的半直线原像为区间,故 \(F\) 可测。已知 \(X\) 与 \(Q_F(U)\) 同分布,施以 \(F\) 后仍同分布,因此 \(F(X)\) 与 \(F(Q_F(U))=U\) 同分布。证毕。
若 \(F\) 在 \(c\) 有正跳跃,则 \(X=c\) 具有正概率,\(F(X)\) 在 \(F(c)\) 也有原子,不能是均匀分布。例如 \(X\sim\mathrm{Bernoulli}(1/2)\) 时,\(F(X)\) 只取 \(1/2\) 与1。可见从均匀变量生成一般分布与把原变量变成均匀分布,适用条件不同。
9.2.4 分布类型与Bernoulli—均匀混合
分布类型描述概率质量如何分配,不能由映射值域的外形判断。以下条件均针对实数轴上的概率测度 \(\mu\)。
| 类型 | 测度条件及CDF特征 |
|---|---|
| 离散分布(discrete) | 存在至多可数集 \(D\),使 \(\mu(D)=1\);全部质量来自跳跃。 |
| 绝对连续分布(absolutely continuous) | 存在非负可测 \(f\),使 \(\mu(B)=\int_B f\,d\lambda\) 对所有博雷尔集成立;CDF是密度的积分。 |
| 奇异连续分布(singular continuous) | 存在 \(\lambda(N)=0\) 的博雷尔集 \(N\),使 \(\mu(N)=1\),同时每个单点质量均为0;CDF连续但没有密度。 |
集中于勒贝格零测集称为与 \(\lambda\) 奇异,记作 \(\mu\perp\lambda\);点质量也奇异,所以“连续”不能省略。绝对连续还等价于 \(\lambda(B)=0\Rightarrow\mu(B)=0\),密度存在的等价性在9.6节证明。基础篇的“连续型”指绝对连续型。一般分布可能同时含有不同成分。
以概率 \(1/2\) 抽取 \(\mathrm{Bernoulli}(1/2)\),以概率 \(1/2\) 抽取 \(U(0,1)\)。例如取相互独立的 \(B,C\sim\mathrm{Bernoulli}(1/2)\)、\(V\sim U(0,1)\),令 \(X=(1-B)C+BV\)。当 \(B=0\) 时输出 \(C\),当 \(B=1\) 时输出 \(V\),从而
\(\delta_c\) 是点 \(c\) 的单位质量,\(\lambda|_{(0,1)}(A)=\lambda(A\cap(0,1))\)。这是混合分布(mixed distribution):\(P(X=0)=P(X=1)=1/4\),而 \(P(0<X\le1/2)=1/4\)。可数原子集合只有两个点,却只承载一半质量,因此它不是离散分布。
对 \([0,1]\) 上的有界博雷尔函数 \(h\),有 \(E[h(X)]=h(0)/4+h(1)/4+\frac12\int_0^1h(x)\,dx\)。分别取 \(h(x)=x\) 与 \(h(x)=x^2\),可得 \(E[X]=1/2\)、\(E[X^2]=5/12\),所以 \(\operatorname{Var}(X)=1/6\)。
因此直接将均匀变量送入这个分段函数即可生成 \(X\)。CDF几乎处处的导数为 \(\frac12\mathbf1_{(0,1)}\),积分仅为 \(1/2\),遗漏的正是两个原子的总质量。
9.2.5 Cantor分布:连续却没有密度
取 \(U\sim U(0,1)\),定义 \(B_n=\lfloor2^nU\rfloor-2\lfloor2^{n-1}U\rfloor\)。每个 \(B_n\) 取0或1,每个长度为 \(n\) 的数字前缀对应长度为 \(2^{-n}\) 的半开二进制区间。因此各数字独立,且均服从 \(\mathrm{Bernoulli}(1/2)\)。二进制端点采用终止展开,端点集概率为0。
部分和可测且递增,\(\{C\le x\}=\bigcap_n\{C_n\le x\}\),所以 \(C\) 是随机变量。它的三进制数字只使用0与2。令 \(K_n\) 为反复删去中间三分之一后第 \(n\) 层的保留集:它有 \(2^n\) 个互不相交的闭区间,每个长度 \(3^{-n}\)。尾项界说明 \(C\in K_n\) 对每个 \(n\) 都成立。
每个第 \(n\) 层保留区间恰对应一个数字前缀,质量为 \(2^{-n}\)。任一点至多落在其中一个区间内,故 \(P(C=c)\le2^{-n}\) 对所有 \(n\) 成立,取极限得 \(P(C=c)=0\)。于是其CDF \(F_C\) 连续;但若存在密度,就会有 \(P(C\in K)=\int_K f\,d\lambda=0\),与上式矛盾。这完整证明了Cantor分布是奇异连续分布。
在 \(K\) 的每个补区间上CDF局部恒定,因此 \(F_C'=0\) 在勒贝格几乎处处成立,而 \(F_C(1)-F_C(0)=1\)。例如 \(F_C(1/3)=F_C(2/3)=1/2\),\(F_C(1/9)=F_C(2/9)=1/4\)。仅对CDF求导会丢失全部质量;推论9.2-3却仍给出 \(F_C(C)\sim U(0,1)\)。
“CDF连续”“取值落在一个区间内”“CDF几乎处处可导”都不能单独保证有密度。密度能恢复全分布的条件是CDF绝对连续;存在密度时,导数等于密度也只需在勒贝格几乎处处意义下成立。这个积分与微分的关系将在9.3节与9.6节继续说明。
9.2.6 习题与解答
习题 9.2-1 原子可数,不代表分布离散
证明任意实分布的正质量原子集合至多可数。再将有理数无重复地列为 \(q_1,q_2,\ldots\),在 \(q_n\) 放质量 \(2^{-n}\):求CDF,并判断它在哪些点连续。
令 \(D_m=\{x:P(X=x)\ge1/m\}\)。总质量为1说明 \(|D_m|\le m\),而每个正原子都在某个 \(D_m\) 中,因此原子集合 \(D=\bigcup_mD_m\) 至多可数。离散分布还要求 \(P(X\in D)=1\);例9.2-1的 \(D=\{0,1\}\) 就不满足。
题设质量和为 \(\sum_{n\ge1}2^{-n}=1\),故构成离散分布,CDF为 \(F(x)=\sum_{n\ge1}2^{-n}\mathbf1_{\{q_n\le x\}}\)。在 \(q_n\) 的跳跃为 \(2^{-n}\),在无理点无原子,结合式(9.2-3)及右连续性可知那里连续。它的跳跃点稠密,不能把所有离散CDF都想成具有开区间平台的简单阶梯。
习题 9.2-2 截断混合变量
令 \(X\) 服从例9.2-1的混合分布,\(Y=\max(X-1/2,0)\)。求 \(Y\) 的CDF、全部原子、连续部分及期望。
全部 \(X\le1/2\) 被映到0,所以 \(P(Y=0)=F_X(1/2)=1/2\);\(X=1\) 映到 \(1/2\),质量为 \(1/4\)。原连续部分中 \(1/2<X<1\) 平移至 \((0,1/2)\),密度仍为 \(1/2\)。因此
总质量核验为 \(1/2+1/4+(1/2)(1/2)=1\)。若只对CDF求导,所得函数积分仅为 \(1/4\),两处原子都会遗漏。
习题 9.2-3 CDF有平台,积分变换仍可用
分布以各 \(1/2\) 的权重混合 \(U(0,1)\) 与 \(U(2,3)\)。求CDF及广义逆,验证 \(F(X)\) 均匀,并说明为什么不能断言 \(Q_F(F(x))=x\) 对所有实数成立。
直接积分得到 \(F(x)=0\)(\(x<0\))、\(x/2\)(\(0\le x\le1\))、\(1/2\)(\(1<x<2\))、\((x-1)/2\)(\(2\le x\le3\)),以及1(\(x>3\))。它连续且在 \([1,2]\) 上恒定。广义逆为
代入两段都得 \(F(Q_F(u))=u\),所以 \(F(X)\sim U(0,1)\)。但 \(F(3/2)=1/2\),\(Q_F(1/2)=1\),不等于 \(3/2\)。广义逆选CDF达到给定水平的最左点;平台里的每个点没有各自不同的CDF值。
习题 9.2-4 用数字递推计算Cantor概率
对例9.2-2的 \(C\),按第一位数字推导CDF的递推式,计算 \(P(C\le1/4)\)。解释为何这个正概率与 \(F_C'=0\) 几乎处处并不矛盾。
去掉第一位后的变量 \(C'=\sum_{n\ge1}2B_{n+1}/3^n\) 与 \(C\) 同分布,并独立于 \(B_1\):每个有限前缀的条件概率仍为 \(2^{-n}\),由生成族唯一性可推到整个后续数字序列。于是 \(C=(2B_1+C')/3\)。记 \(F=F_C\),按 \(B_1=0,1\) 分类得
令 \(a=F(1/4)\),则 \(a=\frac12F(3/4)=\frac14+\frac14F(1/4)\),所以 \(a=1/3\)。导数为0说的是勒贝格几乎处处的局部变化率;此CDF不绝对连续,不能用导数的积分恢复区间增量。式(9.2-3)和本题递推始终适用。
关键术语
- 可测映射
- 将目标可测集的原像送入原事件族,保证相应概率有定义。
- 生成的事件族 \(\sigma(X)\)
- 使 \(X\) 可测的最小 \(\sigma\) 代数。
- 推前测度 \(P_X\)
- 由 \(P_X(B)=P(X\in B)\) 定义的状态空间概率测度。
- 原子
- 本节指满足 \(P(X=x)>0\) 的点,对应CDF的正跳跃。
- 分位数广义逆
- 用下确界定义的逆,允许CDF有跳跃或平台。
- 概率积分变换
- CDF连续时,\(F_X(X)\) 服从 \(U(0,1)\)。
- 绝对连续分布
- 可由勒贝格密度积分表达全部概率的分布。
- 奇异连续分布
- 无原子、却集中于勒贝格零测集的分布;Cantor分布是一个构造实例。