- 能由联合分布列与边缘分布列计算条件分布列 \(p_{X|Y}(x|y)=p(x,y)/p_Y(y)\),并证明其满足合法性(\(\sum_x p_{X|Y}(x|y)=1\));
- 熟练运用联合表的"固定一列、按列和归一化"读法求条件分布;
- 会计算条件期望 \(E[X\mid Y=y]\),并说明它如何随 \(y\) 的变化而变化;
- 掌握乘法结构 \(p(x,y)=p_Y(y)\,p_{X|Y}(x|y)\),能由"边缘 + 条件"重建联合分布列;
- 能叙述独立性与条件分布的等价关系,并了解条件分布与全概率公式、贝叶斯公式(3.2、3.3 节)的联系。
1. 条件分布列的定义
第 3 章告诉我们:当新信息"事件 \(F\) 已发生"到来时,应当用条件概率 \(P(E\mid F)=P(EF)/P(F)\) 重新校正对 \(E\) 的判断(3.2 节)。现在把这一思想移植到随机变量上:设 \((X,Y)\) 是具有离散型联合分布的随机向量(6.1 节),联合分布列(joint probability mass function)为 \(p(x,y)\),边缘分布列(marginal probability mass function)为 \(p_X(x)\) 与 \(p_Y(y)\)。若已知 \(Y\) 取值 \(y\),\(X\) 的分布应当如何"更新"?由于 \(\{X=x\}\) 与 \(\{Y=y\}\) 都是事件,可以直接套用条件概率的定义:
\[ P(X=x \mid Y=y)=\frac{P(X=x,\;Y=y)}{P(Y=y)}=\frac{p(x,y)}{p_Y(y)}. \]
这个比值只对 \(p_Y(y)>0\) 的 \(y\) 有定义——与第 3 章一样,条件只有在"条件事件具有正概率"时才有意义。由此得到本节的核心概念条件分布(conditional distribution)。
设 \((X,Y)\) 为离散随机向量,联合分布列为 \(p(x,y)\),\(Y\) 的边缘分布列为 \(p_Y(y)\)。对满足 \(p_Y(y)>0\) 的 \(y\),称
\[ p_{X|Y}(x\,|\,y) \;=\; P(X=x \mid Y=y) \;=\; \frac{p(x,y)}{p_Y(y)} \]
为给定 \(Y=y\) 时 \(X\) 的条件分布列(conditional probability mass function)。对称地,给定 \(X=x\)(\(p_X(x)>0\))时 \(Y\) 的条件分布列为 \(p_{Y|X}(y\,|\,x)=p(x,y)/p_X(x)\)。
直观地看:在联合表中固定 \(y\) 所在的一列,该列各格刻画"\(X=x\) 且 \(Y=y\)"的概率,其总和恰为 \(p_Y(y)\);把整列"除以" \(p_Y(y)\) 重新刻度,就得到 \(Y=y\) 条件下 \(X\) 的分布。下面的定理保证这样得到的确实是一个合法的分布列。
若 \(p_Y(y)>0\),则 \(\{p_{X|Y}(x|y)\}\) 关于 \(x\) 是一个合法的分布列:各值非负,且
\[ \sum_x p_{X|Y}(x\,|\,y) \;=\; \sum_x \frac{p(x,y)}{p_Y(y)} \;=\; \frac{p_Y(y)}{p_Y(y)} \;=\; 1. \]
定理 1 的价值在于:对每个固定的 \(y\),\(p_{X|Y}(\,\cdot\,|\,y)\) 都是一个货真价实的分布列,于是 4.3 节以来关于分布列的一切工具——求和为一、期望、方差、分布函数——都可以原封不动地用在它身上。同时要注意,不同的 \(y\) 一般给出不同的分布列:我们面对的是"一族"分布 \(\{p_{X|Y}(\,\cdot\,|\,y): p_Y(y)>0\}\),而不是单个分布。
2. 联合表的读法:固定一列,按列和归一化
6.1 节把联合分布列排成矩形表:行对应 \(x\) 的取值、列对应 \(y\) 的取值,最右一列与最下一行分别是两个边缘。在这种排法下,求条件分布 \(p_{X|Y}\) 的操作变得极其机械:
- 第一步:固定 \(y\) 所在的一列,取出该列所有格子 \(p(x,y)\)(\(x\) 取遍支撑集(support));
- 第二步:该列诸格之和恰为列和——边缘值 \(p_Y(y)\);
- 第三步:将该列每格除以 \(p_Y(y)\)(归一化),所得的非负数列即为条件分布列 \(p_{X|Y}(x|y)\)。
一句话:条件分布 = 该列按列和重新刻度。若要求 \(p_{Y|X}(\,\cdot\,|\,x)\),则固定某一行、除以 \(p_X(x)\),完全对称。
将一枚均匀硬币独立地掷 3 次,设 \(X\) 为正面总数、\(Y\) 为反面总数(此即 6.1 节例 1 的模型)。列出联合分布列,求给定 \(Y=1\) 时 \(X\) 的条件分布列与条件期望 \(E[X\mid Y=1]\),并给出一般 \(y\) 下的结果。
| \(x\) \ \(y\) | 0 | 1 | 2 | 3 | \(p_X(x)\) |
|---|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 1/8 | 1/8 |
| 1 | 0 | 0 | 3/8 | 0 | 3/8 |
| 2 | 0 | 3/8 | 0 | 0 | 3/8 |
| 3 | 1/8 | 0 | 0 | 0 | 1/8 |
| \(p_Y(y)\) | 1/8 | 3/8 | 3/8 | 1/8 | 1 |
例 1 还透露了一个重要信号:\(E[X\mid Y=y]=3-y\) 随 \(y\) 而变——它不是一个固定的数,而是 \(y\) 的函数。这引出本节的第二个核心概念。
3. 条件期望:已知 Y 时 X 的平均
既然对每个 \(p_Y(y)>0\) 的 \(y\),条件分布列 \(p_{X|Y}(\,\cdot\,|\,y)\) 都是合法的 pmf(定理 1),就可以对它求平均。
给定 \(Y=y\)(\(p_Y(y)>0\)),\(X\) 的条件期望(conditional expectation) 定义为
\[ E[X \mid Y=y] \;=\; \sum_x x\, p_{X|Y}(x\,|\,y). \]
即以条件分布列为权重的加权平均。类似地,对任意函数 \(g\) 可定义 \(E[g(X)\mid Y=y]=\sum_x g(x)\,p_{X|Y}(x|y)\),例如条件方差 \(\operatorname{Var}(X\mid Y=y)\)。
条件期望回答的问题是:"已知 \(Y=y\) 时,\(X\) 平均为多少?"下面的经典例子表明,条件分布常常呈现意想不到的简洁形态。
掷两颗均匀骰子,设 \(X\) 为第一颗的点数、\(Y\) 为两点之和。求 \(p_{X|Y}(x|7)\) 与 \(p_{X|Y}(x|4)\),并计算相应的条件期望。
(i)\(Y=7\):可行有序对为 \((1,6),(2,5),\dots,(6,1)\),共 6 个,\(p_Y(7)=6/36=1/6\),于是 \[ p_{X|Y}(x\,|\,7)=\frac{1/36}{6/36}=\frac16,\qquad x=1,2,\dots,6, \] 即 \(X\mid Y=7\) 在 \(1,\dots,6\) 上均匀分布——与 \(X\) 的无条件分布完全相同(并非巧合:已知总和为 7 时,六个有序对机会均等,对称性保证了均匀)。相应地 \[ E[X\mid Y=7]=\frac{1+2+\cdots+6}{6}=\frac{21}{6}=3.5. \]
(ii)\(Y=4\):可行有序对仅 \((1,3),(2,2),(3,1)\),\(p_Y(4)=3/36=1/12\),故 \[ p_{X|Y}(x\,|\,4)=\frac{1/36}{3/36}=\frac13,\quad x=1,2,3;\qquad p_{X|Y}(x\,|\,4)=0,\quad x=4,5,6, \] 即均匀分布在压缩后的支撑 \(\{1,2,3\}\) 上(第二颗必须满足 \(1\le 4-x\le 6\)),且 \(E[X\mid Y=4]=(1+2+3)/3=2\)。
(iii)一般规律:给定 \(Y=y\),\(X\) 在 \(\{\max(1,y-6),\dots,\min(6,y-1)\}\) 上均匀,故条件期望等于支撑两端点的平均: \[ E[X\mid Y=y]=\frac{\max(1,y-6)+\min(6,y-1)}{2}=\frac{y}{2},\qquad y=2,3,\dots,12. \] 条件期望随 \(y\) 线性增长:知道的"和"越大,第一颗骰子的平均点数就越大。
| \(x\) | \(p_{X|Y}(x|4)\) | \(p_{X|Y}(x|5)\) | \(p_{X|Y}(x|6)\) | \(p_{X|Y}(x|7)\) |
|---|---|---|---|---|
| 1 | 1/3 | 1/4 | 1/5 | 1/6 |
| 2 | 1/3 | 1/4 | 1/5 | 1/6 |
| 3 | 1/3 | 1/4 | 1/5 | 1/6 |
| 4 | 0 | 1/4 | 1/5 | 1/6 |
| 5 | 0 | 0 | 1/5 | 1/6 |
| 6 | 0 | 0 | 0 | 1/6 |
| \(E[X\mid Y=y]\) | 2 | 2.5 | 3 | 3.5 |
例 1 中 \(E[X\mid Y=y]=3-y\)(递减),例 2 中 \(E[X\mid Y=y]=y/2\)(递增)——条件期望依赖于我们所掌握的 \(y\)。若事先不知道 \(y\),就把 \(y\) 换成随机变量 \(Y\),得到 \(E[X\mid Y]\):它是 \(Y\) 的函数,因而本身是一个随机变量。对它取期望便得到全期望公式(law of total expectation) \(E\big[E[X\mid Y]\big]=E[X]\),其离散形式为 \(E[X]=\sum_y E[X\mid Y=y]\,p_Y(y)\),将在 6.5 节陈述、7.4 节系统展开。用例 2 可以先睹为快:\(\sum_y \tfrac{y}{2}p_Y(y)=\tfrac12 E[Y]=\tfrac{7}{2}=3.5=E[X]\),完全吻合。
4. 乘法结构:由条件分布重建联合
定义 1 是一个比值,把它改写成乘法,就得到"由局部重建整体"的钥匙,也是一切两阶段随机模型的数学骨架。
对一切 \(x,\,y\),联合分布列可分解为
\[ p(x,y) \;=\; p_Y(y)\,p_{X|Y}(x\,|\,y) \;=\; p_X(x)\,p_{Y|X}(y\,|\,x), \]
从而当 \(p_Y(y)>0\) 时有(分布列版贝叶斯公式)
\[ p_{X|Y}(x\,|\,y) \;=\; \frac{p_X(x)\,p_{Y|X}(y\,|\,x)}{p_Y(y)},\qquad\text{其中 }\; p_Y(y)=\sum_{x'} p_X(x')\,p_{Y|X}(y\,|\,x'). \]
分母公式正是第 3 章全概率公式(3.2 节)在随机变量语言下的形态;比值形式则是贝叶斯公式(3.3 节)的翻版:把 \(p_X\) 视为关于 \(X\) 的"先验",观测到 "\(Y=y\)" 之后更新出的"后验"就是 \(p_{X|Y}(\,\cdot\,|\,y)\)。乘法结构还给出了构造联合分布的等价路线:要么"边缘 \(p_Y\) + 条件族 \(p_{X|Y}\)",要么"边缘 \(p_X\) + 条件族 \(p_{Y|X}\)",二者互相决定。
某修理店每天收到的报修单数 \(Y\) 取值 \(1,2,3\),概率分别为 \(\tfrac12,\tfrac13,\tfrac16\);各张报修单独立地需要更换零件,概率均为 \(\tfrac12\);设 \(X\) 为当天需要零件的单数,则 \(X\mid Y=y\sim B(y,\tfrac12)\),即 \(p_{X|Y}(x|y)=\binom{y}{x}\big(\tfrac12\big)^{y}\)(\(x=0,\dots,y\))。试用乘法结构求联合分布列 \(p(x,y)\),并验证其合法性。
| \(x\) \ \(y\) | 1 | 2 | 3 | \(p_X(x)\) |
|---|---|---|---|---|
| 0 | 1/4 | 1/12 | 1/48 | 17/48 |
| 1 | 1/4 | 1/6 | 1/16 | 23/48 |
| 2 | 0 | 1/12 | 1/16 | 7/48 |
| 3 | 0 | 0 | 1/48 | 1/48 |
| \(p_Y(y)\) | 1/2 | 1/3 | 1/6 | 1 |
若 \(X\) 与 \(Y\) 独立(6.2 节),则 \(p(x,y)=p_X(x)p_Y(y)\),代入定义 1 得 \(p_{X|Y}(x|y)=p_X(x)\):条件分布与无条件分布相同——"知道 \(Y\) 的取值不改变对 \(X\) 的判断"。反之,若对每个 \(p_Y(y)>0\) 的 \(y\) 都有 \(p_{X|Y}(x|y)=p_X(x)\),则由定理 2 得 \(p(x,y)=p_Y(y)p_X(x)\) 对一切 \(x,y\) 成立,即 \(X\) 与 \(Y\) 独立。这给出独立性的又一等价刻画,也是 6.2 节"逐格检验 \(p(x,y)=p_X(x)p_Y(y)\)"的实质。例如表 3 中 \(p_{X|Y}(0|1)=1/2\ne 17/48=p_X(0)\),立刻可见 \(X\) 与 \(Y\) 不独立。
5. 本节小结
- 定义:\(p_{X|Y}(x|y)=p(x,y)/p_Y(y)\)(要求 \(p_Y(y)>0\));它非负且和为 1(定理 1),是合法的分布列。
- 联合表读法:固定 \(y\) 所在一列,每格除以列和 \(p_Y(y)\)(归一化)即得条件分布列;行、列两个方向完全对称。
- 条件期望:\(E[X\mid Y=y]=\sum_x x\,p_{X|Y}(x|y)\),是 \(y\) 的函数(硬币例:\(3-y\);骰子例:\(y/2\))。
- 乘法结构:\(p(x,y)=p_Y(y)\,p_{X|Y}(x|y)=p_X(x)\,p_{Y|X}(y|x)\),联合分布可由"边缘 + 条件族"重建;比值形式即分布列版贝叶斯公式,分母即全概率公式。
- 独立性刻画:\(X\) 与 \(Y\) 独立当且仅当对一切 \(p_Y(y)>0\),\(p_{X|Y}(\,\cdot\,|\,y)\) 等于无条件分布 \(p_X\)。
- 下一节(6.5)把求和换成积分:\(f_{X|Y}(x|y)=f(x,y)/f_Y(y)\),并把 \(E[X\mid Y]\) 正式当作随机变量使用。
练习
练习 6-4-1
利用例 3 的表 3,求给定 \(Y=3\) 时 \(X\) 的条件分布列 \(p_{X|Y}(x|3)\) 与条件期望 \(E[X\mid Y=3]\)。
答案与提示固定 \(y=3\) 列 \(\big(\tfrac1{48},\tfrac3{48},\tfrac3{48},\tfrac1{48}\big)\),除以列和 \(p_Y(3)=\tfrac16=\tfrac8{48}\),得 \(p_{X|Y}(x|3)=\big(\tfrac18,\tfrac38,\tfrac38,\tfrac18\big)\)(和为 1)。\(E[X\mid Y=3]=0+1\cdot\tfrac38+2\cdot\tfrac38+3\cdot\tfrac18=\tfrac{12}{8}=\tfrac32\),恰等于 \(y/2=3/2\),与 \(B(3,\tfrac12)\) 的均值一致。
练习 6-4-2
在例 2 的两颗骰子模型中,求 \(p_{X|Y}(x|5)\) 与 \(p_{X|Y}(x|11)\) 及相应条件期望,并观察 \(E[X\mid Y=y]\) 与 \(y\) 的关系。
答案与提示\(y=5\):可行 \(x=1,\dots,4\),\(p_Y(5)=4/36\),条件分布为每值 \(1/4\),\(E[X\mid Y=5]=2.5\);\(y=11\):可行 \(x=5,6\),\(p_Y(11)=2/36\),条件分布为每值 \(1/2\),\(E[X\mid Y=11]=5.5\)。两个结果都满足 \(E[X\mid Y=y]=y/2\)——支撑 \(\{\max(1,y-6),\dots,\min(6,y-1)\}\) 关于 \(y/2\) 对称。
练习 6-4-3
证明:对任何满足 \(p_Y(y)>0\) 的 \(y\),条件分布列满足 \(\sum_x p_{X|Y}(x|y)=1\)。
答案与提示\(\sum_x p_{X|Y}(x|y)=\sum_x p(x,y)/p_Y(y)=\big(\sum_x p(x,y)\big)/p_Y(y)=p_Y(y)/p_Y(y)=1\),其中 \(\sum_x p(x,y)=p_Y(y)\) 正是边缘分布列的定义(交换求和次序即得)。
练习 6-4-4
在例 3 的报修单模型中,直接用边缘 \(p_X\) 计算 \(E[X]\),再用 \(E[X]=\sum_y E[X\mid Y=y]\,p_Y(y)\) 复核。
答案与提示直接法:\(E[X]=1\cdot\tfrac{23}{48}+2\cdot\tfrac{7}{48}+3\cdot\tfrac{1}{48}=\tfrac{40}{48}=\tfrac56\)。条件法:\(E[X\mid Y=y]=y/2\),故 \(E[X]=\tfrac12\cdot\tfrac12+1\cdot\tfrac13+\tfrac32\cdot\tfrac16=\tfrac14+\tfrac13+\tfrac14=\tfrac56\)。两条路线一致——这正是全期望公式(7.4 节)的离散形式。