第 6 章 · 联合分布的随机变量

6.4 条件分布:离散情形

Conditional Distributions: Discrete Case
学习目标
  • 能由联合分布列与边缘分布列计算条件分布列 \(p_{X|Y}(x|y)=p(x,y)/p_Y(y)\),并证明其满足合法性(\(\sum_x p_{X|Y}(x|y)=1\));
  • 熟练运用联合表的"固定一列、按列和归一化"读法求条件分布;
  • 会计算条件期望 \(E[X\mid Y=y]\),并说明它如何随 \(y\) 的变化而变化;
  • 掌握乘法结构 \(p(x,y)=p_Y(y)\,p_{X|Y}(x|y)\),能由"边缘 + 条件"重建联合分布列;
  • 能叙述独立性与条件分布的等价关系,并了解条件分布与全概率公式、贝叶斯公式(3.2、3.3 节)的联系。

1. 条件分布列的定义

第 3 章告诉我们:当新信息"事件 \(F\) 已发生"到来时,应当用条件概率 \(P(E\mid F)=P(EF)/P(F)\) 重新校正对 \(E\) 的判断(3.2 节)。现在把这一思想移植到随机变量上:设 \((X,Y)\) 是具有离散型联合分布的随机向量(6.1 节),联合分布列(joint probability mass function)为 \(p(x,y)\),边缘分布列(marginal probability mass function)为 \(p_X(x)\) 与 \(p_Y(y)\)。若已知 \(Y\) 取值 \(y\),\(X\) 的分布应当如何"更新"?由于 \(\{X=x\}\) 与 \(\{Y=y\}\) 都是事件,可以直接套用条件概率的定义:

\[ P(X=x \mid Y=y)=\frac{P(X=x,\;Y=y)}{P(Y=y)}=\frac{p(x,y)}{p_Y(y)}. \]

这个比值只对 \(p_Y(y)>0\) 的 \(y\) 有定义——与第 3 章一样,条件只有在"条件事件具有正概率"时才有意义。由此得到本节的核心概念条件分布(conditional distribution)。

定义 1 条件分布列

设 \((X,Y)\) 为离散随机向量,联合分布列为 \(p(x,y)\),\(Y\) 的边缘分布列为 \(p_Y(y)\)。对满足 \(p_Y(y)>0\) 的 \(y\),称

\[ p_{X|Y}(x\,|\,y) \;=\; P(X=x \mid Y=y) \;=\; \frac{p(x,y)}{p_Y(y)} \]

给定 \(Y=y\) 时 \(X\) 的条件分布列(conditional probability mass function)。对称地,给定 \(X=x\)(\(p_X(x)>0\))时 \(Y\) 的条件分布列为 \(p_{Y|X}(y\,|\,x)=p(x,y)/p_X(x)\)。

直观地看:在联合表中固定 \(y\) 所在的一列,该列各格刻画"\(X=x\) 且 \(Y=y\)"的概率,其总和恰为 \(p_Y(y)\);把整列"除以" \(p_Y(y)\) 重新刻度,就得到 \(Y=y\) 条件下 \(X\) 的分布。下面的定理保证这样得到的确实是一个合法的分布列。

定理 1 条件分布列的合法性

若 \(p_Y(y)>0\),则 \(\{p_{X|Y}(x|y)\}\) 关于 \(x\) 是一个合法的分布列:各值非负,且

\[ \sum_x p_{X|Y}(x\,|\,y) \;=\; \sum_x \frac{p(x,y)}{p_Y(y)} \;=\; \frac{p_Y(y)}{p_Y(y)} \;=\; 1. \]

证明非负性由 \(p(x,y)\ge 0\) 立得。对和式,将公因子 \(1/p_Y(y)\) 提出求和号,再用 6.1 节的边缘公式 \(\sum_x p(x,y)=p_Y(y)\)(把联合分布列沿该列相加即得边缘)即证。

定理 1 的价值在于:对每个固定的 \(y\),\(p_{X|Y}(\,\cdot\,|\,y)\) 都是一个货真价实的分布列,于是 4.3 节以来关于分布列的一切工具——求和为一、期望、方差、分布函数——都可以原封不动地用在它身上。同时要注意,不同的 \(y\) 一般给出不同的分布列:我们面对的是"一族"分布 \(\{p_{X|Y}(\,\cdot\,|\,y): p_Y(y)>0\}\),而不是单个分布。

2. 联合表的读法:固定一列,按列和归一化

6.1 节把联合分布列排成矩形表:行对应 \(x\) 的取值、列对应 \(y\) 的取值,最右一列与最下一行分别是两个边缘。在这种排法下,求条件分布 \(p_{X|Y}\) 的操作变得极其机械:

  • 第一步:固定 \(y\) 所在的一列,取出该列所有格子 \(p(x,y)\)(\(x\) 取遍支撑集(support));
  • 第二步:该列诸格之和恰为列和——边缘值 \(p_Y(y)\);
  • 第三步:将该列每格除以 \(p_Y(y)\)(归一化),所得的非负数列即为条件分布列 \(p_{X|Y}(x|y)\)。

一句话:条件分布 = 该列按列和重新刻度。若要求 \(p_{Y|X}(\,\cdot\,|\,x)\),则固定某一行、除以 \(p_X(x)\),完全对称。

例 1 掷 3 枚硬币:已知反面数求正面数的条件分布

将一枚均匀硬币独立地掷 3 次,设 \(X\) 为正面总数、\(Y\) 为反面总数(此即 6.1 节例 1 的模型)。列出联合分布列,求给定 \(Y=1\) 时 \(X\) 的条件分布列与条件期望 \(E[X\mid Y=1]\),并给出一般 \(y\) 下的结果。

8 个结果等可能,且恒有 \(X+Y=3\),故联合分布列为 \[ p(x,y)=\begin{cases}\dbinom{3}{x}\big/8, & x=0,1,2,3,\; y=3-x,\\[2pt] 0, & \text{其余},\end{cases} \] 见表 1(支撑落在反对角线上)。固定 \(y=1\) 一列:各格为 \(p(0,1)=0,\;p(1,1)=0,\;p(2,1)=\binom32/8=3/8,\;p(3,1)=0\),列和 \(p_Y(1)=\binom31/8=3/8\)。按列和归一化: \[ p_{X|Y}(x\,|\,1)=\frac{p(x,1)}{3/8}=\begin{cases}1, & x=2,\\ 0, & x=0,1,3,\end{cases}\qquad E[X\mid Y=1]=2\cdot 1=2. \] 一般地,给定 \(Y=y\)(\(y=0,1,2,3\))时全部质量集中在唯一的可行值 \(x=3-y\) 上:\(p_{X|Y}(3-y\,|\,y)=1\),从而 \(E[X\mid Y=y]=3-y\)。这里条件分布退化为单点分布(退化分布,degenerate distribution):因为 \(X=3-Y\) 是确定性关系,"知道 \(Y\)"就完全掌握了 \(X\)。
表 1:掷 3 枚硬币,\(X\)=正面数、\(Y\)=反面数的联合分布列(含边缘)
\(x\) \ \(y\)0123\(p_X(x)\)
00001/81/8
1003/803/8
203/8003/8
31/80001/8
\(p_Y(y)\)1/83/83/81/81
联合表 → 条件分布列:固定 y=1 一列,各格除以列和 p_Y(1)=3/8 x \ y 0 1 2 3 p_X x=0 x=1 x=2 x=3 0 0 0 1/8 0 0 3/8 0 0 3/8 0 0 1/8 0 0 0 1/8 3/8 3/8 1/8 p_Y 1/8 3/8 3/8 1/8 1 各格 ÷ p_Y(1) = 3/8 1 0 0 0 1 0 0 1 2 3 x p(x | Y=1) E[X | Y=1] = 2
图 1:联合表的"固定一列"读法(数据取自例 1 的表 1):锁定 \(y=1\) 一列,四格之和为 \(p_Y(1)=3/8\);每格除以该列和后即得条件分布列 \(p_{X|Y}(x|1)\)——全部质量集中在 \(x=2\),其余取值概率为 0。

例 1 还透露了一个重要信号:\(E[X\mid Y=y]=3-y\) 随 \(y\) 而变——它不是一个固定的数,而是 \(y\) 的函数。这引出本节的第二个核心概念。

3. 条件期望:已知 Y 时 X 的平均

既然对每个 \(p_Y(y)>0\) 的 \(y\),条件分布列 \(p_{X|Y}(\,\cdot\,|\,y)\) 都是合法的 pmf(定理 1),就可以对它求平均。

定义 2 条件期望

给定 \(Y=y\)(\(p_Y(y)>0\)),\(X\) 的条件期望(conditional expectation) 定义为

\[ E[X \mid Y=y] \;=\; \sum_x x\, p_{X|Y}(x\,|\,y). \]

即以条件分布列为权重的加权平均。类似地,对任意函数 \(g\) 可定义 \(E[g(X)\mid Y=y]=\sum_x g(x)\,p_{X|Y}(x|y)\),例如条件方差 \(\operatorname{Var}(X\mid Y=y)\)。

条件期望回答的问题是:"已知 \(Y=y\) 时,\(X\) 平均为多少?"下面的经典例子表明,条件分布常常呈现意想不到的简洁形态。

例 2 两颗骰子:已知点数和求第一颗点数的条件分布

掷两颗均匀骰子,设 \(X\) 为第一颗的点数、\(Y\) 为两点之和。求 \(p_{X|Y}(x|7)\) 与 \(p_{X|Y}(x|4)\),并计算相应的条件期望。

联合分布列为 \(p(x,y)=1/36\)(\(x=1,\dots,6\),\(y=x+1,\dots,x+6\)),边缘 \(p_Y(y)=N(y)/36\),其中 \(N(y)\) 是满足 \(1\le x\le 6\)、\(1\le y-x\le 6\) 的 \(x\) 个数(\(y=2,\dots,12\) 时依次为 \(1,2,3,4,5,6,5,4,3,2,1\))。
(i)\(Y=7\):可行有序对为 \((1,6),(2,5),\dots,(6,1)\),共 6 个,\(p_Y(7)=6/36=1/6\),于是 \[ p_{X|Y}(x\,|\,7)=\frac{1/36}{6/36}=\frac16,\qquad x=1,2,\dots,6, \] 即 \(X\mid Y=7\) 在 \(1,\dots,6\) 上均匀分布——与 \(X\) 的无条件分布完全相同(并非巧合:已知总和为 7 时,六个有序对机会均等,对称性保证了均匀)。相应地 \[ E[X\mid Y=7]=\frac{1+2+\cdots+6}{6}=\frac{21}{6}=3.5. \]
(ii)\(Y=4\):可行有序对仅 \((1,3),(2,2),(3,1)\),\(p_Y(4)=3/36=1/12\),故 \[ p_{X|Y}(x\,|\,4)=\frac{1/36}{3/36}=\frac13,\quad x=1,2,3;\qquad p_{X|Y}(x\,|\,4)=0,\quad x=4,5,6, \] 即均匀分布在压缩后的支撑 \(\{1,2,3\}\) 上(第二颗必须满足 \(1\le 4-x\le 6\)),且 \(E[X\mid Y=4]=(1+2+3)/3=2\)。
(iii)一般规律:给定 \(Y=y\),\(X\) 在 \(\{\max(1,y-6),\dots,\min(6,y-1)\}\) 上均匀,故条件期望等于支撑两端点的平均: \[ E[X\mid Y=y]=\frac{\max(1,y-6)+\min(6,y-1)}{2}=\frac{y}{2},\qquad y=2,3,\dots,12. \] 条件期望随 \(y\) 线性增长:知道的"和"越大,第一颗骰子的平均点数就越大。
表 2:两颗骰子模型中 \(X\) 的条件分布列(0 表示概率为 0)
\(x\)\(p_{X|Y}(x|4)\)\(p_{X|Y}(x|5)\)\(p_{X|Y}(x|6)\)\(p_{X|Y}(x|7)\)
11/31/41/51/6
21/31/41/51/6
31/31/41/51/6
401/41/51/6
5001/51/6
60001/6
\(E[X\mid Y=y]\)22.533.5
两颗骰子:不同 y 下 X 的条件分布列(同一纵轴刻度) 1/6 1/3 1 2 3 4 5 6 Y = 4 在 1–3 上均匀,E[X|Y=4]=2 1/6 1/5 1 2 3 4 5 6 Y = 6 在 1–5 上均匀,E[X|Y=6]=3 1/6 1/6 1 2 3 4 5 6 Y = 7 在 1–6 上均匀,E[X|Y=7]=3.5
图 2:例 2 中不同 \(y\) 下 \(X\) 的条件分布列对比(棒高按真实比例:360 像素对应概率 1)。虚线标出 \(1/6\):\(y=4\) 时支撑窄、棒高 \(1/3\) 远超过 \(1/6\);\(y=7\) 时支撑铺满 \(1,\dots,6\),条件分布恰为均匀、棒高恰为 \(1/6\)。
注记 \(E[X\mid Y=y]\) 是 \(y\) 的函数

例 1 中 \(E[X\mid Y=y]=3-y\)(递减),例 2 中 \(E[X\mid Y=y]=y/2\)(递增)——条件期望依赖于我们所掌握的 \(y\)。若事先不知道 \(y\),就把 \(y\) 换成随机变量 \(Y\),得到 \(E[X\mid Y]\):它是 \(Y\) 的函数,因而本身是一个随机变量。对它取期望便得到全期望公式(law of total expectation) \(E\big[E[X\mid Y]\big]=E[X]\),其离散形式为 \(E[X]=\sum_y E[X\mid Y=y]\,p_Y(y)\),将在 6.5 节陈述、7.4 节系统展开。用例 2 可以先睹为快:\(\sum_y \tfrac{y}{2}p_Y(y)=\tfrac12 E[Y]=\tfrac{7}{2}=3.5=E[X]\),完全吻合。

4. 乘法结构:由条件分布重建联合

定义 1 是一个比值,把它改写成乘法,就得到"由局部重建整体"的钥匙,也是一切两阶段随机模型的数学骨架。

定理 2 乘法结构与分布列版贝叶斯公式

对一切 \(x,\,y\),联合分布列可分解为

\[ p(x,y) \;=\; p_Y(y)\,p_{X|Y}(x\,|\,y) \;=\; p_X(x)\,p_{Y|X}(y\,|\,x), \]

从而当 \(p_Y(y)>0\) 时有(分布列版贝叶斯公式)

\[ p_{X|Y}(x\,|\,y) \;=\; \frac{p_X(x)\,p_{Y|X}(y\,|\,x)}{p_Y(y)},\qquad\text{其中 }\; p_Y(y)=\sum_{x'} p_X(x')\,p_{Y|X}(y\,|\,x'). \]

证明第一式是定义 1 的移项(对 \(p_{Y|X}\) 同理),两个写法刻画同一 \(p(x,y)\) 故连等;分母公式则是把第一式对 \(x'\) 求和并用边缘定义。

分母公式正是第 3 章全概率公式3.2 节)在随机变量语言下的形态;比值形式则是贝叶斯公式3.3 节)的翻版:把 \(p_X\) 视为关于 \(X\) 的"先验",观测到 "\(Y=y\)" 之后更新出的"后验"就是 \(p_{X|Y}(\,\cdot\,|\,y)\)。乘法结构还给出了构造联合分布的等价路线:要么"边缘 \(p_Y\) + 条件族 \(p_{X|Y}\)",要么"边缘 \(p_X\) + 条件族 \(p_{Y|X}\)",二者互相决定。

例 3 由边缘与条件分布反推联合分布

某修理店每天收到的报修单数 \(Y\) 取值 \(1,2,3\),概率分别为 \(\tfrac12,\tfrac13,\tfrac16\);各张报修单独立地需要更换零件,概率均为 \(\tfrac12\);设 \(X\) 为当天需要零件的单数,则 \(X\mid Y=y\sim B(y,\tfrac12)\),即 \(p_{X|Y}(x|y)=\binom{y}{x}\big(\tfrac12\big)^{y}\)(\(x=0,\dots,y\))。试用乘法结构求联合分布列 \(p(x,y)\),并验证其合法性。

两阶段模型:第一阶段抽出 \(Y=y\)(概率 \(p_Y(y)\)),第二阶段在 \(y\) 的条件下生成 \(X\)(概率 \(p_{X|Y}(x|y)\)),故 \[ p(x,y)=p_Y(y)\,p_{X|Y}(x\,|\,y)=p_Y(y)\binom{y}{x}\Big(\frac12\Big)^{y},\qquad x=0,1,\dots,y. \] 逐格计算: \[ \begin{aligned} y=1:&\quad p(0,1)=\tfrac12\cdot\tfrac12=\tfrac14,\quad p(1,1)=\tfrac14;\\ y=2:&\quad p(0,2)=\tfrac13\cdot\tfrac14=\tfrac{1}{12},\quad p(1,2)=\tfrac13\cdot\tfrac12=\tfrac16,\quad p(2,2)=\tfrac{1}{12};\\ y=3:&\quad p(0,3)=\tfrac16\cdot\tfrac18=\tfrac{1}{48},\quad p(1,3)=\tfrac16\cdot\tfrac38=\tfrac{1}{16},\quad p(2,3)=\tfrac{1}{16},\quad p(3,3)=\tfrac{1}{48}. \end{aligned} \] 结果列入表 3。验证:固定每一列求和,恰好还原 \(p_Y\)(\(\tfrac14+\tfrac14=\tfrac12\);\(\tfrac1{12}+\tfrac16+\tfrac1{12}=\tfrac13\);\(\tfrac1{48}+\tfrac3{48}+\tfrac3{48}+\tfrac1{48}=\tfrac16\)),全表总和为 \(1\),合法性成立。右边缘由行和给出:\(p_X=\big(\tfrac{17}{48},\tfrac{23}{48},\tfrac{7}{48},\tfrac{1}{48}\big)\)。联合分布由"边缘 + 条件族"完全确定——这与 3.1 节树形图上"沿路径相乘"的规则一脉相承。
表 3:例 3 中由乘法结构重建的联合分布列(含边缘)
\(x\) \ \(y\)123\(p_X(x)\)
01/41/121/4817/48
11/41/61/1623/48
201/121/167/48
3001/481/48
\(p_Y(y)\)1/21/31/61
注记 独立性与条件分布

若 \(X\) 与 \(Y\) 独立(6.2 节),则 \(p(x,y)=p_X(x)p_Y(y)\),代入定义 1 得 \(p_{X|Y}(x|y)=p_X(x)\):条件分布与无条件分布相同——"知道 \(Y\) 的取值不改变对 \(X\) 的判断"。反之,若对每个 \(p_Y(y)>0\) 的 \(y\) 都有 \(p_{X|Y}(x|y)=p_X(x)\),则由定理 2 得 \(p(x,y)=p_Y(y)p_X(x)\) 对一切 \(x,y\) 成立,即 \(X\) 与 \(Y\) 独立。这给出独立性的又一等价刻画,也是 6.2 节"逐格检验 \(p(x,y)=p_X(x)p_Y(y)\)"的实质。例如表 3 中 \(p_{X|Y}(0|1)=1/2\ne 17/48=p_X(0)\),立刻可见 \(X\) 与 \(Y\) 不独立。

5. 本节小结

要点回顾
  • 定义:\(p_{X|Y}(x|y)=p(x,y)/p_Y(y)\)(要求 \(p_Y(y)>0\));它非负且和为 1(定理 1),是合法的分布列。
  • 联合表读法:固定 \(y\) 所在一列,每格除以列和 \(p_Y(y)\)(归一化)即得条件分布列;行、列两个方向完全对称。
  • 条件期望:\(E[X\mid Y=y]=\sum_x x\,p_{X|Y}(x|y)\),是 \(y\) 的函数(硬币例:\(3-y\);骰子例:\(y/2\))。
  • 乘法结构:\(p(x,y)=p_Y(y)\,p_{X|Y}(x|y)=p_X(x)\,p_{Y|X}(y|x)\),联合分布可由"边缘 + 条件族"重建;比值形式即分布列版贝叶斯公式,分母即全概率公式。
  • 独立性刻画:\(X\) 与 \(Y\) 独立当且仅当对一切 \(p_Y(y)>0\),\(p_{X|Y}(\,\cdot\,|\,y)\) 等于无条件分布 \(p_X\)。
  • 下一节(6.5)把求和换成积分:\(f_{X|Y}(x|y)=f(x,y)/f_Y(y)\),并把 \(E[X\mid Y]\) 正式当作随机变量使用。

练习

练习 6-4-1

利用例 3 的表 3,求给定 \(Y=3\) 时 \(X\) 的条件分布列 \(p_{X|Y}(x|3)\) 与条件期望 \(E[X\mid Y=3]\)。

答案与提示

固定 \(y=3\) 列 \(\big(\tfrac1{48},\tfrac3{48},\tfrac3{48},\tfrac1{48}\big)\),除以列和 \(p_Y(3)=\tfrac16=\tfrac8{48}\),得 \(p_{X|Y}(x|3)=\big(\tfrac18,\tfrac38,\tfrac38,\tfrac18\big)\)(和为 1)。\(E[X\mid Y=3]=0+1\cdot\tfrac38+2\cdot\tfrac38+3\cdot\tfrac18=\tfrac{12}{8}=\tfrac32\),恰等于 \(y/2=3/2\),与 \(B(3,\tfrac12)\) 的均值一致。

练习 6-4-2

在例 2 的两颗骰子模型中,求 \(p_{X|Y}(x|5)\) 与 \(p_{X|Y}(x|11)\) 及相应条件期望,并观察 \(E[X\mid Y=y]\) 与 \(y\) 的关系。

答案与提示

\(y=5\):可行 \(x=1,\dots,4\),\(p_Y(5)=4/36\),条件分布为每值 \(1/4\),\(E[X\mid Y=5]=2.5\);\(y=11\):可行 \(x=5,6\),\(p_Y(11)=2/36\),条件分布为每值 \(1/2\),\(E[X\mid Y=11]=5.5\)。两个结果都满足 \(E[X\mid Y=y]=y/2\)——支撑 \(\{\max(1,y-6),\dots,\min(6,y-1)\}\) 关于 \(y/2\) 对称。

练习 6-4-3

证明:对任何满足 \(p_Y(y)>0\) 的 \(y\),条件分布列满足 \(\sum_x p_{X|Y}(x|y)=1\)。

答案与提示

\(\sum_x p_{X|Y}(x|y)=\sum_x p(x,y)/p_Y(y)=\big(\sum_x p(x,y)\big)/p_Y(y)=p_Y(y)/p_Y(y)=1\),其中 \(\sum_x p(x,y)=p_Y(y)\) 正是边缘分布列的定义(交换求和次序即得)。

练习 6-4-4

在例 3 的报修单模型中,直接用边缘 \(p_X\) 计算 \(E[X]\),再用 \(E[X]=\sum_y E[X\mid Y=y]\,p_Y(y)\) 复核。

答案与提示

直接法:\(E[X]=1\cdot\tfrac{23}{48}+2\cdot\tfrac{7}{48}+3\cdot\tfrac{1}{48}=\tfrac{40}{48}=\tfrac56\)。条件法:\(E[X\mid Y=y]=y/2\),故 \(E[X]=\tfrac12\cdot\tfrac12+1\cdot\tfrac13+\tfrac32\cdot\tfrac16=\tfrac14+\tfrac13+\tfrac14=\tfrac56\)。两条路线一致——这正是全期望公式(7.4 节)的离散形式。