- 用乘法等式 \(P(EF)=P(E)P(F)\) 判定两事件的独立性,并说明它与 \(P(E\mid F)=P(E)\) 的等价性;
- 辨析"独立"与"互斥",证明并解释"正概率的互斥事件必不独立";
- 证明独立事件的补事件仍独立,并把它用于并联结构与"至少一个"型事件的计算;
- 区分两两独立与相互独立,完整验证两枚硬币的经典反例;
- 计算串联、并联、混联系统的可靠度,以及独立试验序列中"全部成功""至少一次成功"的概率。
1. 从直觉到定义:两事件的独立
3.2 节定义了条件概率 \(P(E\mid F)=P(EF)/P(F)\),它刻画"已知 \(F\) 发生"这条信息对 \(E\) 的概率的影响。自然要问:什么时候这种影响恰好为零,即 \(P(E\mid F)=P(E)\)?把它代回乘法规则 \(P(EF)=P(F)P(E\mid F)\),条件概率退化为无条件概率,就得到本节的核心概念——独立性(independence)。独立性是贯穿全书的工作假设:二项分布(4.6 节)、泊松过程、大数定律(第 8 章),无一不以某种形式的独立性为基石。
设 \(E\)、\(F\) 为同一试验中的两个事件。若 \[ P(EF)=P(E)\,P(F), \] 则称 \(E\) 与 \(F\) 独立(independent);否则称它们不独立(dependent)。
三点说明。其一,定义只比较两个数值 \(P(EF)\) 与 \(P(E)P(F)\),完全不需要"因果无关"之类的物理直觉——独立性是概率模型的性质,而不是事件内容的性质。其二,定义关于 \(E\)、\(F\) 对称,"\(E\) 与 \(F\) 独立"同"\(F\) 与 \(E\) 独立"是一回事。其三,若 \(P(F)=0\),则 \(P(EF)=0=P(E)P(F)\) 对一切 \(E\) 成立:零概率事件与任何事件都独立。
设 \(P(F)>0\)。则 \(E\) 与 \(F\) 独立,当且仅当 \[ P(E\mid F)=P(E). \]
定理 1 给出独立的操作含义:知道 \(F\) 已经发生,并不改变 \(E\) 发生的可能性——两个事件在信息层面互不提供任何增量。
掷两颗均匀骰子,记 \(E=\{\text{点数之和为 }7\}\),\(F=\{\text{第一颗为 }4\}\)。问 \(E\) 与 \(F\) 是否独立?
2. 独立与互斥:必须分清的一对概念
初学者最常见的错误,是把独立(independent)与互斥(mutually exclusive,即 \(EF=\varnothing\),两事件不能同时发生)混为一谈。这两个概念不但不同,而且在"正概率"的前提下几乎处于两个极端:互斥说的是结构上互不相容,独立说的是概率上互不干扰。互斥事件彼此提供的信息量最大——\(F\) 一旦发生,\(E\) 的概率立刻跌为零。
若 \(E\) 与 \(F\) 互斥,且 \(P(E)>0\)、\(P(F)>0\),则 \(E\) 与 \(F\) 不独立。
把定理 2 反过来读:当 \(P(E)\)、\(P(F)\) 均为正时,独立的事件必可同时发生(\(P(EF)=P(E)P(F)>0\)),因而必不互斥。一句话总结——"互斥"是"有你没我","独立"是"你发不发生与我无关";在正概率场合,二者不能同时成立。工程技术与统计文献中把"相互独立"误写成"彼此互斥"的情形并不少见,阅读与翻译时请格外留心。
3. 补事件的独立性
若 \(E\) 与 \(F\) 独立,那么把其中任何一个换成它的补事件(complement),独立性依然保持。这一"取补封闭性"是计算并联系统以及一切"至少有一个……"型事件概率的基础。
若 \(E\) 与 \(F\) 独立,则 \(E\) 与 \(F^c\)、\(E^c\) 与 \(F\)、\(E^c\) 与 \(F^c\) 也都相互独立。
4. 独立试验序列与系统可靠性
到目前为止我们检验独立性,都是"先算后比"。在建模时更常见的方向恰好相反:先假设独立性,再用它化简计算。最重要的假设来源是重复试验——逐次掷同一枚硬币、有放回地抽样、彼此独立运行的设备,各次结果互不影响,自然应当假设相应事件独立;反之,无放回抽样的各次结果就不独立(3.2 节的例题已经体现)。
若试验序列中,任意有限个结果事件 \(E_{i_1},E_{i_2},\dots,E_{i_k}\) 都满足乘法规则 \[ P(E_{i_1}E_{i_2}\cdots E_{i_k})=P(E_{i_1})\,P(E_{i_2})\cdots P(E_{i_k}), \] 则称该序列为独立试验(independent trials)序列,并说各次试验相互独立。
例如掷 \(n\) 次硬币,"\(n\) 次全部正面"的概率是 \((1/2)^n\);一般地,若每次成功概率为 \(p\),\(n\) 次全成功的概率为 \(p^n\)(例 3)。
独立性最经典的应用之一是系统可靠性(reliability)分析:把设备抽象为组件,用串并联结构计算整个系统正常工作的概率。
设系统由 \(n\) 个组件构成,各组件正常与否相互独立,组件 \(i\) 正常工作的概率为 \(p_i\)。系统的可靠度 \(R\) 是系统正常工作的概率。 (1) 串联(series)系统:所有组件都正常,系统才正常,\[ R=\prod_{i=1}^{n}p_i; \] (2) 并联(parallel)系统:至少一个组件正常,系统就正常,\[ R=1-\prod_{i=1}^{n}(1-p_i). \]
两条公式的工程含义截然相反:串联组件越多系统越脆弱(乘积不超过最小的 \(p_i\)),并联组件越多系统越稳健——后者就是冗余(redundancy)设计的数学根据。
某系统由组件 A、B 串联组成主干,另有一条由组件 C 构成的冗余支路与该主干并联(结构见图 1(c))。设三个组件相互独立,\(P(A)=0.95\),\(P(B)=0.90\),\(P(C)=0.90\),求系统的可靠度。
| 系统结构 | 系统正常的条件 | 可靠度公式 | 数值 |
|---|---|---|---|
| 串联 A–B | A、B 都正常 | \(p_Ap_B\) | \(0.95\times0.90=0.855\) |
| 并联 A–B | A、B 至少一个正常 | \(1-(1-p_A)(1-p_B)\) | \(1-0.05\times0.10=0.995\) |
| 混联(例 2) | "A 且 B",或者 C | \(1-(1-p_Ap_B)(1-p_C)\) | \(1-0.145\times0.10=0.9855\) |
某射手每次命中目标的概率为 \(p=0.7\),各次射击相互独立。求:(a) 连射 5 次全部命中的概率;(b) 5 次中至少命中一次的概率;(c) 恰好在第 3 次首次命中的概率。
5. 多个事件:两两独立不等于相互独立
把独立性推广到多个事件,正确的做法不是"每两个都独立"就够了,而是要求所有子集都满足乘法规则。
称事件 \(E_1,E_2,\dots,E_n\) 两两独立(pairwise independent),若对每一对 \(i\neq j\),\(P(E_iE_j)=P(E_i)P(E_j)\)。称它们相互独立(mutually independent),若对任意子集 \(\{i_1,\dots,i_k\}\subseteq\{1,\dots,n\}\)(\(k\ge 2\))都有 \[ P\bigl(E_{i_1}E_{i_2}\cdots E_{i_k}\bigr)=P(E_{i_1})\,P(E_{i_2})\cdots P(E_{i_k}). \]
对 \(n\) 个事件,相互独立共要求 \(2^n-n-1\) 个等式(大小至少为 2 的子集个数)。显然相互独立蕴含两两独立;下例说明反方向不成立。定义 2 中"各次试验相互独立"用的正是这里的多事件版本。
掷两枚均匀硬币,样本空间为 \(S=\{HH,HT,TH,TT\}\),每个样本点概率 \(1/4\)。令 \[ E=\{HH,HT\},\qquad F=\{HH,TH\},\qquad G=\{HH,TT\}, \] 即 \(E\) 为"第一枚正面"、\(F\) 为"第二枚正面"、\(G\) 为"两枚同面"(覆盖情况见图 2)。验证 \(E,F,G\) 两两独立但不相互独立。
独立性还可以"条件化":若 \[ P(EF\mid G)=P(E\mid G)\,P(F\mid G), \] 则称 \(E\) 与 \(F\) 在给定 \(G\) 下条件独立(conditionally independent given \(G\))。注意独立与条件独立互不蕴含。例如从"一枚均匀、一枚双正"的两枚硬币中随机取一枚连掷两次:给定取到的是哪一枚,两次结果是独立的;但无条件时 \(P(\text{两次皆正})=\tfrac12\times1+\tfrac12\times\tfrac14=\tfrac58\),而 \(P(\text{第一次正})\,P(\text{第二次正})=(\tfrac34)^2=\tfrac9{16}\),两者不等——共同的不确定性(选到哪枚硬币)制造了关联。3.3 节的贝叶斯模型里,"给定原因后各次观察相互独立"正是最常用的建模结构。
6. 本节小结
- 两事件独立的定义是数值等式 \(P(EF)=P(E)P(F)\);当 \(P(F)>0\) 时等价于 \(P(E\mid F)=P(E)\)(定理 1)。
- 独立 ≠ 互斥:正概率的互斥事件必不独立(定理 2);正概率的独立事件必可同时发生、因而必不互斥。
- 独立性对取补封闭:\(E,F\) 独立 ⇒ \(E,F^c\)、\(E^c,F\)、\(E^c,F^c\) 都独立(定理 3)。
- 多事件的相互独立要求所有子集满足乘法规则;掷两枚硬币的反例(例 4)表明两两独立不够。
- 应用:串联可靠度 \(\prod_i p_i\)、并联 \(1-\prod_i(1-p_i)\)、混联逐层化简(例 2 得 \(0.9855\));独立试验序列的 \(p^n\) 与 \(1-(1-p)^n\)(例 3)。
- 条件独立与无条件独立互不蕴含,使用时必须写明条件。
练习
练习 3-4-1
完成定理 3 的证明:设 \(E\) 与 \(F\) 独立,证明 \(E^c\) 与 \(F^c\) 也独立。
答案与提示用第 2 章的容斥公式 \(P(E\cup F)=P(E)+P(F)-P(EF)\)。由对偶律 \(E^cF^c=(E\cup F)^c\),故 \[ P(E^cF^c)=1-P(E\cup F)=1-P(E)-P(F)+P(E)P(F)=\bigl(1-P(E)\bigr)\bigl(1-P(F)\bigr)=P(E^c)\,P(F^c). \] 即 \(E^c\) 与 \(F^c\) 独立。
练习 3-4-2
三个组件相互独立:组件 A(可靠度 0.9)与"B、C 并联"(B、C 各 0.8)串联组成系统,求系统可靠度。
答案与提示先算并联支路再算串联:\(R=0.9\times\bigl[1-(1-0.8)^2\bigr]=0.9\times(1-0.04)=0.9\times0.96=0.864\)。注意"先并联后串联"与"先串联后并联"结果一般不同,混联结构必须按框图逐层化简。
练习 3-4-3
构造另一个"两两独立但非相互独立"的例子,并完整验证全部等式。
答案与提示掷一枚均匀的八面体骰子,\(S=\{1,2,\dots,8\}\)。取 \(E=\{1,2,3,4\}\)、\(F=\{1,2,5,6\}\)、\(G=\{3,4,5,6\}\),则 \(P(E)=P(F)=P(G)=1/2\),且 \(EF=\{1,2\}\)、\(EG=\{3,4\}\)、\(FG=\{5,6\}\) 的概率都是 \(1/4\),等于对应两两乘积——两两独立;但 \(EFG=\varnothing\),\(P(EFG)=0\neq 1/8\)。与例 4 相比,这里三事件之交甚至为空集。
练习 3-4-4
(a) 证明:若 \(P(E)=1\),则 \(E\) 与任何事件 \(F\) 独立。(b) 设 \(E\) 与 \(F\) 独立,\(P(E)=0.3\)、\(P(F)=0.5\),求 \(P(E\cup F)\) 与 \(P(E\mid F^c)\)。
答案与提示(a) 由 \(F=EF\cup E^cF\)(互斥分解)与 \(P(E^cF)\le P(E^c)=0\),得 \(P(EF)=P(F)=1\times P(F)=P(E)P(F)\)。(b) \(P(E\cup F)=0.3+0.5-0.3\times0.5=0.65\);由定理 3,\(E\) 与 \(F^c\) 独立,故 \(P(E\mid F^c)=P(E)=0.3\)。