第 3 章 · 条件概率与独立性

3.4 独立事件

Independent Events
学习目标
  • 用乘法等式 \(P(EF)=P(E)P(F)\) 判定两事件的独立性,并说明它与 \(P(E\mid F)=P(E)\) 的等价性;
  • 辨析"独立"与"互斥",证明并解释"正概率的互斥事件必不独立";
  • 证明独立事件的补事件仍独立,并把它用于并联结构与"至少一个"型事件的计算;
  • 区分两两独立与相互独立,完整验证两枚硬币的经典反例;
  • 计算串联、并联、混联系统的可靠度,以及独立试验序列中"全部成功""至少一次成功"的概率。

1. 从直觉到定义:两事件的独立

3.2 节定义了条件概率 \(P(E\mid F)=P(EF)/P(F)\),它刻画"已知 \(F\) 发生"这条信息对 \(E\) 的概率的影响。自然要问:什么时候这种影响恰好为零,即 \(P(E\mid F)=P(E)\)?把它代回乘法规则 \(P(EF)=P(F)P(E\mid F)\),条件概率退化为无条件概率,就得到本节的核心概念——独立性(independence)。独立性是贯穿全书的工作假设:二项分布(4.6 节)、泊松过程、大数定律(第 8 章),无一不以某种形式的独立性为基石。

定义 1 两事件的独立

设 \(E\)、\(F\) 为同一试验中的两个事件。若 \[ P(EF)=P(E)\,P(F), \] 则称 \(E\) 与 \(F\) 独立(independent);否则称它们不独立(dependent)。

三点说明。其一,定义只比较两个数值 \(P(EF)\) 与 \(P(E)P(F)\),完全不需要"因果无关"之类的物理直觉——独立性是概率模型的性质,而不是事件内容的性质。其二,定义关于 \(E\)、\(F\) 对称,"\(E\) 与 \(F\) 独立"同"\(F\) 与 \(E\) 独立"是一回事。其三,若 \(P(F)=0\),则 \(P(EF)=0=P(E)P(F)\) 对一切 \(E\) 成立:零概率事件与任何事件都独立。

定理 1 独立与条件概率的等价刻画

设 \(P(F)>0\)。则 \(E\) 与 \(F\) 独立,当且仅当 \[ P(E\mid F)=P(E). \]

证明由条件概率定义 \(P(E\mid F)=P(EF)/P(F)\)。若 \(P(EF)=P(E)P(F)\),代入即得 \(P(E\mid F)=P(E)\);反之,把等式 \(P(E\mid F)=P(E)\) 两边同乘 \(P(F)\),即得 \(P(EF)=P(E)P(F)\)。

定理 1 给出独立的操作含义:知道 \(F\) 已经发生,并不改变 \(E\) 发生的可能性——两个事件在信息层面互不提供任何增量。

例 1 和为 7:一个漂亮的例子

掷两颗均匀骰子,记 \(E=\{\text{点数之和为 }7\}\),\(F=\{\text{第一颗为 }4\}\)。问 \(E\) 与 \(F\) 是否独立?

\(E=\{(1,6),(2,5),(3,4),(4,3),(5,2),(6,1)\}\),故 \(P(E)=6/36=1/6\);又 \(P(F)=6/36=1/6\)。而 \(EF=\{(4,3)\}\),\(P(EF)=1/36\)。于是 \[ P(E)P(F)=\frac{1}{6}\times\frac{1}{6}=\frac{1}{36}=P(EF), \] 故 \(E\) 与 \(F\) 独立。直观地看:已知第一颗是 4,"和为 7"当且仅当第二颗是 3,概率为 \(1/6\),恰好等于无条件下"和为 7"的概率——因为对 7 而言,第一颗取定任何一个值,第二颗都恰有一个对应的值与之配对,各占 \(1/6\)。对比:若改取 \(E'=\{\text{和为 }6\}\),则 \(P(E')=5/36\),而 \(P(E'\mid F)=1/6\),两者不等,不再独立。可见"是否独立"不能靠感觉,只能回到定义逐项核验。

2. 独立与互斥:必须分清的一对概念

初学者最常见的错误,是把独立(independent)与互斥(mutually exclusive,即 \(EF=\varnothing\),两事件不能同时发生)混为一谈。这两个概念不但不同,而且在"正概率"的前提下几乎处于两个极端:互斥说的是结构上互不相容,独立说的是概率上互不干扰。互斥事件彼此提供的信息量最大——\(F\) 一旦发生,\(E\) 的概率立刻跌为零。

定理 2 正概率的互斥事件必不独立

若 \(E\) 与 \(F\) 互斥,且 \(P(E)>0\)、\(P(F)>0\),则 \(E\) 与 \(F\) 不独立。

证明互斥意味着 \(P(EF)=0\);而假设保证 \(P(E)P(F)>0\)。于是 \(P(EF)\neq P(E)P(F)\),二者不独立。
注记 常见误区:"独立"不是"互斥"

把定理 2 反过来读:当 \(P(E)\)、\(P(F)\) 均为正时,独立的事件必可同时发生(\(P(EF)=P(E)P(F)>0\)),因而必不互斥。一句话总结——"互斥"是"有你没我","独立"是"你发不发生与我无关";在正概率场合,二者不能同时成立。工程技术与统计文献中把"相互独立"误写成"彼此互斥"的情形并不少见,阅读与翻译时请格外留心。

3. 补事件的独立性

若 \(E\) 与 \(F\) 独立,那么把其中任何一个换成它的补事件(complement),独立性依然保持。这一"取补封闭性"是计算并联系统以及一切"至少有一个……"型事件概率的基础。

定理 3 补事件的独立性

若 \(E\) 与 \(F\) 独立,则 \(E\) 与 \(F^c\)、\(E^c\) 与 \(F\)、\(E^c\) 与 \(F^c\) 也都相互独立。

证明只证"\(E\) 与 \(F^c\)"的情形。把 \(E\) 拆成互斥并 \(E=EF\cup EF^c\),得 \(P(EF^c)=P(E)-P(EF)\)。由独立性, \[ P(EF^c)=P(E)-P(E)P(F)=P(E)\bigl(1-P(F)\bigr)=P(E)\,P(F^c), \] 即 \(E\) 与 \(F^c\) 独立。把刚证结果中的 \(E\)、\(F\) 互换,立得 \(E^c\) 与 \(F\) 独立;再对 "\(E\) 与 \(F^c\)" 的结论应用于 \(F^c\) 与 \(E\),即得 \(E^c\) 与 \(F^c\) 独立(也可直接用容斥公式计算 \(P(E^cF^c)\),见练习 1)。

4. 独立试验序列与系统可靠性

到目前为止我们检验独立性,都是"先算后比"。在建模时更常见的方向恰好相反:先假设独立性,再用它化简计算。最重要的假设来源是重复试验——逐次掷同一枚硬币、有放回地抽样、彼此独立运行的设备,各次结果互不影响,自然应当假设相应事件独立;反之,无放回抽样的各次结果就不独立(3.2 节的例题已经体现)。

定义 2 独立试验序列

若试验序列中,任意有限个结果事件 \(E_{i_1},E_{i_2},\dots,E_{i_k}\) 都满足乘法规则 \[ P(E_{i_1}E_{i_2}\cdots E_{i_k})=P(E_{i_1})\,P(E_{i_2})\cdots P(E_{i_k}), \] 则称该序列为独立试验(independent trials)序列,并说各次试验相互独立。

例如掷 \(n\) 次硬币,"\(n\) 次全部正面"的概率是 \((1/2)^n\);一般地,若每次成功概率为 \(p\),\(n\) 次全成功的概率为 \(p^n\)(例 3)。

独立性最经典的应用之一是系统可靠性(reliability)分析:把设备抽象为组件,用串并联结构计算整个系统正常工作的概率。

定理 4 串并联系统的可靠度

设系统由 \(n\) 个组件构成,各组件正常与否相互独立,组件 \(i\) 正常工作的概率为 \(p_i\)。系统的可靠度 \(R\) 是系统正常工作的概率。 (1) 串联(series)系统:所有组件都正常,系统才正常,\[ R=\prod_{i=1}^{n}p_i; \] (2) 并联(parallel)系统:至少一个组件正常,系统就正常,\[ R=1-\prod_{i=1}^{n}(1-p_i). \]

证明记 \(E_i=\{\text{组件 } i \text{ 正常}\}\)。(1) 串联系统正常等价于 \(\bigcap_{i=1}^n E_i\),由相互独立性(对全部 \(n\) 个事件取乘法规则), \[ P\Bigl(\bigcap_{i=1}^{n}E_i\Bigr)=\prod_{i=1}^{n}P(E_i)=\prod_{i=1}^{n}p_i. \] (2) 系统失效等价于 \(\bigcap_{i=1}^{n}E_i^c\)。把定理 3 推广到 \(n\) 个事件(对 \(n\) 作归纳:相互独立的事件族中,任意若干个换成补事件后仍相互独立),得 \[ P\Bigl(\bigcap_{i=1}^{n}E_i^c\Bigr)=\prod_{i=1}^{n}\bigl(1-p_i\bigr),\qquad R=1-\prod_{i=1}^{n}(1-p_i). \]

两条公式的工程含义截然相反:串联组件越多系统越脆弱(乘积不超过最小的 \(p_i\)),并联组件越多系统越稳健——后者就是冗余(redundancy)设计的数学根据。

例 2 混联系统的可靠度

某系统由组件 A、B 串联组成主干,另有一条由组件 C 构成的冗余支路与该主干并联(结构见图 1(c))。设三个组件相互独立,\(P(A)=0.95\),\(P(B)=0.90\),\(P(C)=0.90\),求系统的可靠度。

A–B 串联支路正常的概率为 \(0.95\times0.90=0.855\)。记"支路正常"为事件 \(AB\),由相互独立性,交事件 \(AB\) 与 \(C\) 独立。对"支路与 C 并联"用定理 4(2): \[ R=1-(1-0.95\times0.90)(1-0.90)=1-0.145\times0.10=1-0.0145=0.9855. \] 对比:没有冗余支路的纯串联只有 \(0.855\);增设一条可靠度仅 \(0.90\) 的备份支路,就把系统可靠度提升到 \(0.9855\)——这正是并联冗余在工程中的价值。(用容斥公式复核:\(R=P(AB\cup C)=P(AB)+P(C)-P(ABC)=0.855+0.90-0.855\times0.90=0.9855\),两条路线一致。)
(a) 串联系统(series):所有组件都正常,系统才正常 组件 1 p₁ 组件 2 p₂ R = p1p2⋯pn (b) 并联系统(parallel):至少一个组件正常,系统就正常 组件 1 p₁ 组件 2 p₂ R = 1 − (1−p₁)(1−p₂) (c) 混联系统(例 2):A–B 串联支路,与组件 C 冗余并联 组件 A 0.95 组件 B 0.90 组件 C(冗余备份) 0.90 串联支路:0.95×0.90 = 0.855 R = 1−(1−0.855)(1−0.90)  = 1−0.145×0.10 = 1−0.0145  = 0.9855 箭头表示功能流:系统正常当且仅当存在一条从输入到输出、全程组件正常的通路
图 1:可靠性框图。串联系统 (a) 的可靠度为 \(\prod_i p_i\),并联系统 (b) 为 \(1-\prod_i(1-p_i)\);(c) 为例 2 的混联结构:A–B 串联支路与组件 C 并联,系统可靠度 \(1-(1-0.95\times0.90)(1-0.90)=0.9855\)。
表 1:例 2 组件参数下三种结构的可靠度对比
系统结构系统正常的条件可靠度公式数值
串联 A–BA、B 都正常\(p_Ap_B\)\(0.95\times0.90=0.855\)
并联 A–BA、B 至少一个正常\(1-(1-p_A)(1-p_B)\)\(1-0.05\times0.10=0.995\)
混联(例 2)"A 且 B",或者 C\(1-(1-p_Ap_B)(1-p_C)\)\(1-0.145\times0.10=0.9855\)
例 3 独立试验序列的计算

某射手每次命中目标的概率为 \(p=0.7\),各次射击相互独立。求:(a) 连射 5 次全部命中的概率;(b) 5 次中至少命中一次的概率;(c) 恰好在第 3 次首次命中的概率。

(a) "5 次全中"是 5 个相互独立事件之交,由定义 2, \[ P=0.7^{5}=0.16807. \] (b) "至少命中一次"的补事件是"5 次全不中",每次不中的概率为 \(0.3\),故 \[ P=1-0.3^{5}=1-0.00243=0.99757. \] (c) "第 3 次才首次命中"即前两次不中且第 3 次命中,三件事相互独立: \[ P=0.3\times0.3\times0.7=0.063. \] "恰好命中 \(k\) 次"正是二项分布的核心,将在 4.6 节系统展开;"首次命中出现的位置"的分布即几何分布(第 4 章)。

5. 多个事件:两两独立不等于相互独立

把独立性推广到多个事件,正确的做法不是"每两个都独立"就够了,而是要求所有子集都满足乘法规则。

定义 3 两两独立与相互独立

称事件 \(E_1,E_2,\dots,E_n\) 两两独立(pairwise independent),若对每一对 \(i\neq j\),\(P(E_iE_j)=P(E_i)P(E_j)\)。称它们相互独立(mutually independent),若对任意子集 \(\{i_1,\dots,i_k\}\subseteq\{1,\dots,n\}\)(\(k\ge 2\))都有 \[ P\bigl(E_{i_1}E_{i_2}\cdots E_{i_k}\bigr)=P(E_{i_1})\,P(E_{i_2})\cdots P(E_{i_k}). \]

对 \(n\) 个事件,相互独立共要求 \(2^n-n-1\) 个等式(大小至少为 2 的子集个数)。显然相互独立蕴含两两独立;下例说明反方向不成立。定义 2 中"各次试验相互独立"用的正是这里的多事件版本。

例 4 经典反例:掷两枚硬币

掷两枚均匀硬币,样本空间为 \(S=\{HH,HT,TH,TT\}\),每个样本点概率 \(1/4\)。令 \[ E=\{HH,HT\},\qquad F=\{HH,TH\},\qquad G=\{HH,TT\}, \] 即 \(E\) 为"第一枚正面"、\(F\) 为"第二枚正面"、\(G\) 为"两枚同面"(覆盖情况见图 2)。验证 \(E,F,G\) 两两独立但不相互独立。

首先 \(P(E)=P(F)=P(G)=2/4=1/2\)。三对交事件都是 \[ EF=\{HH\},\qquad EG=\{HH\},\qquad FG=\{HH\}, \] 故 \[ P(EF)=P(EG)=P(FG)=\frac14=\frac12\times\frac12=P(E)P(F)=P(E)P(G)=P(F)P(G), \] 三个两两等式全部成立——\(E,F,G\) 两两独立。但三者之交 \[ EFG=\{HH\},\qquad P(EFG)=\frac14\ \neq\ \frac18=P(E)\,P(F)\,P(G), \] 所以它们不相互独立。更耐人寻味的是:\(G\) 其实由 \(E\) 与 \(F\) 完全决定(\(G=(EF)\cup(E^cF^c)\)),知道 \(E\)、\(F\) 各自是否发生就能确定 \(G\) 是否发生;但拿 \(G\) 与 \(E\) 单独比较、或与 \(F\) 单独比较,概率上却毫无关联。可见"与每个事件单独都独立"并不能排除"被联合决定"。
第二枚 = H 第二枚 = T 第一枚 = H 第一枚 = T HH E F G 概率 1/4 HT E 概率 1/4 TH F 概率 1/4 TT G 概率 1/4 四个样本点等可能;彩色字母表示该样本点属于哪些事件 E:第一枚为正面(上排) F:第二枚为正面(左列) G:两枚同面(对角线) P(E)=P(F)=P(G)=1/2 EF=EG=FG={HH} P(EF)=P(EG)=P(FG)=1/4 = 两两乘积 ⇒ 两两独立 但 P(EFG)=P({HH})=1/4 ≠ (1/2)×(1/2)×(1/2)=1/8
图 2:两枚均匀硬币样本空间的四格表与事件 \(E\)、\(F\)、\(G\) 的覆盖。任何两个事件的交都是 \(\{HH\}\)(概率 \(1/4\),恰等于两两乘积),故两两独立;但 \(P(EFG)=1/4\neq 1/8\),故不相互独立。
注记 条件独立

独立性还可以"条件化":若 \[ P(EF\mid G)=P(E\mid G)\,P(F\mid G), \] 则称 \(E\) 与 \(F\) 在给定 \(G\) 下条件独立(conditionally independent given \(G\))。注意独立与条件独立互不蕴含。例如从"一枚均匀、一枚双正"的两枚硬币中随机取一枚连掷两次:给定取到的是哪一枚,两次结果是独立的;但无条件时 \(P(\text{两次皆正})=\tfrac12\times1+\tfrac12\times\tfrac14=\tfrac58\),而 \(P(\text{第一次正})\,P(\text{第二次正})=(\tfrac34)^2=\tfrac9{16}\),两者不等——共同的不确定性(选到哪枚硬币)制造了关联。3.3 节的贝叶斯模型里,"给定原因后各次观察相互独立"正是最常用的建模结构。

6. 本节小结

要点回顾
  • 两事件独立的定义是数值等式 \(P(EF)=P(E)P(F)\);当 \(P(F)>0\) 时等价于 \(P(E\mid F)=P(E)\)(定理 1)。
  • 独立 ≠ 互斥:正概率的互斥事件必不独立(定理 2);正概率的独立事件必可同时发生、因而必不互斥。
  • 独立性对取补封闭:\(E,F\) 独立 ⇒ \(E,F^c\)、\(E^c,F\)、\(E^c,F^c\) 都独立(定理 3)。
  • 多事件的相互独立要求所有子集满足乘法规则;掷两枚硬币的反例(例 4)表明两两独立不够。
  • 应用:串联可靠度 \(\prod_i p_i\)、并联 \(1-\prod_i(1-p_i)\)、混联逐层化简(例 2 得 \(0.9855\));独立试验序列的 \(p^n\) 与 \(1-(1-p)^n\)(例 3)。
  • 条件独立与无条件独立互不蕴含,使用时必须写明条件。

练习

练习 3-4-1

完成定理 3 的证明:设 \(E\) 与 \(F\) 独立,证明 \(E^c\) 与 \(F^c\) 也独立。

答案与提示

用第 2 章的容斥公式 \(P(E\cup F)=P(E)+P(F)-P(EF)\)。由对偶律 \(E^cF^c=(E\cup F)^c\),故 \[ P(E^cF^c)=1-P(E\cup F)=1-P(E)-P(F)+P(E)P(F)=\bigl(1-P(E)\bigr)\bigl(1-P(F)\bigr)=P(E^c)\,P(F^c). \] 即 \(E^c\) 与 \(F^c\) 独立。

练习 3-4-2

三个组件相互独立:组件 A(可靠度 0.9)与"B、C 并联"(B、C 各 0.8)串联组成系统,求系统可靠度。

答案与提示

先算并联支路再算串联:\(R=0.9\times\bigl[1-(1-0.8)^2\bigr]=0.9\times(1-0.04)=0.9\times0.96=0.864\)。注意"先并联后串联"与"先串联后并联"结果一般不同,混联结构必须按框图逐层化简。

练习 3-4-3

构造另一个"两两独立但非相互独立"的例子,并完整验证全部等式。

答案与提示

掷一枚均匀的八面体骰子,\(S=\{1,2,\dots,8\}\)。取 \(E=\{1,2,3,4\}\)、\(F=\{1,2,5,6\}\)、\(G=\{3,4,5,6\}\),则 \(P(E)=P(F)=P(G)=1/2\),且 \(EF=\{1,2\}\)、\(EG=\{3,4\}\)、\(FG=\{5,6\}\) 的概率都是 \(1/4\),等于对应两两乘积——两两独立;但 \(EFG=\varnothing\),\(P(EFG)=0\neq 1/8\)。与例 4 相比,这里三事件之交甚至为空集。

练习 3-4-4

(a) 证明:若 \(P(E)=1\),则 \(E\) 与任何事件 \(F\) 独立。(b) 设 \(E\) 与 \(F\) 独立,\(P(E)=0.3\)、\(P(F)=0.5\),求 \(P(E\cup F)\) 与 \(P(E\mid F^c)\)。

答案与提示

(a) 由 \(F=EF\cup E^cF\)(互斥分解)与 \(P(E^cF)\le P(E^c)=0\),得 \(P(EF)=P(F)=1\times P(F)=P(E)P(F)\)。(b) \(P(E\cup F)=0.3+0.5-0.3\times0.5=0.65\);由定理 3,\(E\) 与 \(F^c\) 独立,故 \(P(E\mid F^c)=P(E)=0.3\)。