第 2 章 · 概率的公理

2.3 概率的公理

Axioms of Probability
学习目标
  • 准确写出柯尔莫哥洛夫三条公理,并为每条公理给出直观解释;
  • 由公理推出 \(P(\emptyset)=0\) 与有限可加性,并独立写出简短证明;
  • 用"单位质量 / 单位面积"的图像说明三条公理的几何意义;
  • 运用有限可加性计算掷骰子等简单试验中事件的概率;
  • 用公理检验一组主观概率是否相容(coherent),并指出修正方向。

1. 从三种解释到统一的公理

2.1 节指出,"概率"有三种来源不同的解释:频率解释(大量重复下频率的稳定值)、古典解释(等可能结果的比值)与主观解释(相信程度的标度)。2.2 节又把试验的输出抽象为样本空间 \(S\) 与事件(\(S\) 的子集)。那么,把一个事件对应到一个实数的这个规则,究竟要满足什么条件才配称为"概率"?

概率论对这个问题给出的是一个漂亮得近乎偷懒的回答:不管数从哪里来,运算规则必须统一。1933 年,柯尔莫哥洛夫(Kolmogorov)提出:把概率定义为事件上的函数,要求它满足三条概率公理(axioms of probability)。这一公理化方法把"概率是什么"的哲学争论暂时搁置,转化为"概率如何运算"的数学问题——只要满足公理,本教程随后推出的一切结论对三种解释同时成立。直观地想象:我们有总量为 1 单位的"概率质量",可以按频率、按对称性、也可以按个人判断撒进样本空间;三条公理正是对这种"撒法"的基本约定——质量非负、总量为 1、不重叠的部分可加。

2. 三条公理及其直观含义

定义 1 概率(probability)

设 \(S\) 为样本空间。一个定义在 \(S\) 的全体事件上的实值函数 \(P\),若满足公理 1、公理 2 与公理 3,就称为 \(S\) 上的一个概率(probability),数 \(P(E)\) 称为事件 \(E\) 的概率;二元组 \((S, P)\) 常称为概率空间(probability space)。

也就是说,"概率"在本教程中指的不是一个数,而是一整套赋值方案:它给每个事件配一个实数,且配法必须服从下面三条公理。

公理 1 非负性(nonnegativity)

对任意事件 \(E\),有 \[ 0 \le P(E) \le 1. \]

直观含义:概率以 \(0\) 刻画"绝无可能",以 \(1\) 刻画"必然发生";作为"可能性大小"的度量,它既不能为负,也不能超过整体。需要说明的是,上界 \(P(E)\le 1\) 其实可以由公理 2 与公理 3 推出(推导见 2.4 节命题 1),因此不少教材的正式写法只要求 \(P(E)\ge 0\);本书按 Ross 的惯例把两条界合并陈述,形式上更对称。

公理 2 规范性(normalization)

对必然事件 \(S\),有 \[ P(S) = 1. \]

直观含义:分配给样本空间的"概率总质量"恰好是 1 个单位。既然 \(S\) 囊括了试验的一切可能结果,每次试验必定实现 \(S\) 中的某个样本点,所以记在 \(S\) 头上的信任度(频率、面积或相信程度)必须是全额。日常说"降水概率 30%"只是把单位换成百分数,与 \(0.3\) 是同一个数。

公理 3 可数可加性(countable additivity)

设 \(E_1, E_2, E_3, \ldots\) 是两两互斥的事件(即 \(i \ne j\) 时 \(E_i E_j = \emptyset\),乘积表示交,见 2.2 节),则 \[ P\Bigl( \bigcup_{i=1}^{\infty} E_i \Bigr) = \sum_{i=1}^{\infty} P(E_i). \]

直观含义:互斥事件互不重叠,"合并后的概率等于各部分概率之和"——这正是"加法"进入概率论的方式。例如掷骰子时"出现 2 点"与"出现 4 点"不能同时发生,于是 \(P(\{2\}\cup\{4\}) = P(\{2\}) + P(\{4\})\)。之所以要求对可数无穷多个互斥事件也成立,是因为样本空间本身可能是无限的(如 2.2 节"掷到首次出现 6 为止"的例子),而且我们随后要对事件序列做极限运算(2.6 节);只有限版本的加法,撑不起从有限到无限的这一步跳跃。

注记 "互斥"条件不可省略

公理 3 中的两两互斥是本质性的。当 \(E\)、\(F\) 有重叠时,重叠部分 \(EF\) 在 \(P(E)+P(F)\) 中被计入了两次,因此只能得到 \(P(E\cup F)\le P(E)+P(F)\);要精确计算必须"多退少补",这正是 2.4 节容斥公式与布尔不等式的主题。另外,公理 3 只处理可数多个事件的并——这对应用已经足够;不可数并的精细讨论属于测度论,超出本教程范围。

3. 两条直接推论

公理的价值在于:一旦接受这三条约定,一大批正确的运算规则便可被证明出来,而无须逐条重新辩护。先看两条最直接的推论。

命题 1 不可能事件的概率为零

\[ P(\emptyset) = 0. \]

证明\(\emptyset\) 与任何事件互斥,且 \(S = S \cup \emptyset \cup \emptyset \cup \cdots\)。在公理 3 中取 \(E_1 = S\),\(E_2 = E_3 = \cdots = \emptyset\),得 \[ 1 = P(S) = P(S) + P(\emptyset) + P(\emptyset) + \cdots, \] 于是 \(P(\emptyset)+P(\emptyset)+\cdots = 0\)。由公理 1 每个 \(P(\emptyset)\ge 0\),一列非负数之和为零只能是每一项都为零,故 \(P(\emptyset)=0\)。∎
命题 2 有限可加性(finite additivity)

若 \(E_1, E_2, \ldots, E_n\) 两两互斥,则 \[ P\Bigl( \bigcup_{i=1}^{n} E_i \Bigr) = \sum_{i=1}^{n} P(E_i). \]

证明补充定义 \(E_{n+1} = E_{n+2} = \cdots = \emptyset\)。则序列 \(E_1, E_2, \ldots\) 仍两两互斥,且 \(\bigcup_{i=1}^{\infty} E_i = \bigcup_{i=1}^{n} E_i\)。由公理 3 与命题 1, \[ P\Bigl( \bigcup_{i=1}^{n} E_i \Bigr) = \sum_{i=1}^{n} P(E_i) + \sum_{i=n+1}^{\infty} P(\emptyset) = \sum_{i=1}^{n} P(E_i). \qquad \blacksquare \]

特别地,当 \(EF=\emptyset\) 时 \(P(E\cup F)=P(E)+P(F)\)。可见有限可加性是可数可加性的直接特例,证明的关键技巧只有一个:用 \(\emptyset\) 把有限序列"补齐"成无穷序列。

例 1 掷骰子:偶数点的概率

掷一颗均匀骰子,先由公理确定每个点数的概率,再求"出现偶数点"的概率。

由骰子的对称性,各点应被赋予同一个概率 \(p\):\(P(\{1\})=\cdots=P(\{6\})=p\)。六个单点事件两两互斥且并成 \(S\),由命题 2 与公理 2, \[ 1 = P(S) = \sum_{k=1}^{6} P(\{k\}) = 6p, \] 解得 \(p = 1/6\)。记 \(E=\{2,4,6\}\),三个单点事件两两互斥,再用命题 2: \[ P(E) = P(\{2\})+P(\{4\})+P(\{6\}) = \frac{1}{6}+\frac{1}{6}+\frac{1}{6} = \frac{1}{2}. \] 同理 \(P(\{5\}\cup\{6\}) = 1/6+1/6 = 1/3\)。可以看到:对称性假设负责"给出"各点的数值,而公理负责把这些数值正确地组合起来(该模型将在 2.5 节系统化)。

本节只走出了公理体系的第一步。三条公理先产出上面两条推论,随后展开为 2.4 节的一组常用命题(补集公式、单调性、容斥公式),再支撑起 2.5 节的等可能模型与 2.6 节的连续性——全章的结构如图 1 所示。

三条公理(Kolmogorov, 1933) 概率论一切运算规则的起点 公理 1 非负性 对任意事件 E: 0 ≤ P(E) ≤ 1 公理 2 规范性 对必然事件 S: P(S) = 1 公理 3 可数可加性 E1, E2, … 两两互斥时 P(∪Ei) = Σ P(Ei) 命题 1 P(∅) = 0 不可能事件概率为零 命题 2 有限可加性 有限个互斥事件概率相加 2.4 节 几个简单命题 补集 · 单调性 · 容斥 2.5 节 等可能模型 P(E) = |E| / |S| 2.6 节 概率的连续性 可数可加性的深层威力 自上而下:公理 → 两条直接推论 → 后续各节的命题展开
图 1:公理体系结构图。三条公理是唯一出发点:先得到 \(P(\emptyset)=0\) 与有限可加性两条直接推论,再展开为 2.4–2.6 节的整套命题体系。

4. 单位质量的图像与主观概率的相容性

公理 2 提示了一个极有用的图像:把样本空间 \(S\) 想成一块面积为 1 的矩形,把 1 单位的概率质量(probability mass)全部撒在矩形之内;一个事件的概率,就是它兜住的面积(质量)。在这个图像下,三条公理几乎不言自明——质量不会是负数(公理 1);总定额恰好为 1(公理 2);两块不重叠的区域合并时面积直接相加(公理 3);空事件没有面积,故 \(P(\emptyset)=0\)。三种概率解释的差别只在"质量怎么撒",而撒下之后如何运算,完全由公理统一规定,见图 2。

S E F P(E) P(F) P(EF) S − (E∪F) 矩形面积 = 1 = P(S)(公理 2) 读图要点 把 S 的面积规定为 1 —— 公理 2; 事件的概率 = 它所占的面积 (P(E)、P(F)、P(EF) 见图中标注); E、F 互斥 ⇔ 两圆不相交,面积 直接相加 —— 公理 3; 两圆重叠部分 EF 被数了两次,须 扣除 —— 见 2.4 节容斥公式; 矩形之外再无面积,故一切事件的 概率都不超过 1 —— 公理 1。
图 2:单位面积文氏图。矩形 S 的面积规定为 1,事件的概率等于其所占面积;互斥即不重叠、可加即面积相加,三条公理在同一张图上变得直观。

对主观概率而言,这一图像是一道硬约束:相信程度虽出自个人,却不能随意报数。一组主观概率若与公理不矛盾,就称为相容(coherent)。下面的例题展示一组不相容的信念以及修正思路。

例 2 选举预测:主观概率的相容性检验

某分析人士对一场只有 A、B 两位候选人的选举给出判断:A 当选(事件 \(E\))的概率为 \(0.3\),B 当选(事件 \(F\))的概率为 \(0.35\)。由于只有两人参选且必有一人当选,\(E\) 与 \(F\) 互斥。(a) 按公理,"A 或 B 当选"的概率应是多少?(b) 若此人同时又声称 \(P(E\cup F)=0.7\),他的判断体系出了什么问题?

(a) \(E\) 与 \(F\) 互斥,由命题 2, \[ P(E \cup F) = P(E) + P(F) = 0.3 + 0.35 = 0.65. \] (b) 同一个事件 \(E\cup F\) 被他赋予了两个不同的值:公理要求 \(0.65\),他本人却报 \(0.7\),而 \(0.7\) 无法由他自己给出的 \(P(E)\)、\(P(F)\) 相容地推出。这组主观概率与公理矛盾,是不相容(incoherent)的信念——若按这组数字与人打赌,他将接受一组合计必输的赌约。修正的办法只有调整数值:要么把 \(P(E\cup F)\) 改回 \(0.65\),要么重新评估 \(P(E)\) 与 \(P(F)\)。可见主观概率虽源于个人判断,但只要被当作"概率"使用,就必须服从公理——这正是 2.1 节"三种解释共用同一套公理"的确切含义。
例 3 用补集求"至少一个 6"

掷两颗均匀骰子,求"至少出现一个 6 点"的概率。

记所求事件为 \(E\),其补 \(E^c\) 为"两颗骰子都不是 6 点"。由于 \(E\) 与 \(E^c\) 互斥且 \(E\cup E^c = S\),由命题 2 与公理 2 得 \(P(E) + P(E^c) = P(S) = 1\),即 \[ P(E) = 1 - P(E^c). \] 在 36 个等可能结果中,两颗都非 6 的有 \(5\times 5 = 25\) 个,故 \(P(E^c) = 25/36\),从而 \[ P(E) = 1 - \frac{25}{36} = \frac{11}{36} \approx 0.306. \] "至少有一个……"型事件直接枚举往往繁琐,取补后化为"全部都不……",计数立刻简单;在图 2 的面积语言里,这就是"先算矩形中圆外的剩余面积"。该技巧的系统化命题 \(P(E^c)=1-P(E)\) 将是 2.4 节的第一个结果。

5. 本节小结

要点回顾
  • 概率被定义为事件上满足三条公理的函数;公理化让频率、古典、主观三种解释共用同一套运算规则。
  • 公理 1 非负性 \(0\le P(E)\le 1\)(正式写法只须 \(P(E)\ge 0\),上界可由其余公理推出);公理 2 规范性 \(P(S)=1\);公理 3 可数可加性是全章一切命题的出发点。
  • 由公理立得 \(P(\emptyset)=0\) 与有限可加性;证明的共同技巧是用 \(\emptyset\) 把有限序列补成无穷序列后套用公理 3。
  • 单位质量 / 单位面积图像:把 1 单位质量撒进 \(S\),事件概率就是它兜住的部分;主观概率必须相容,否则信念自相矛盾。
  • "至少一个"型问题宜取补集,\(P(E)=1-P(E^c)\);连同单调性、容斥公式,将在 2.4 节正式登场。
表 1:三条公理一览(公理 3 中要求 \(E_1, E_2, \ldots\) 两两互斥)
公理名称陈述直观含义
公理 1非负性\(0 \le P(E) \le 1\)可能性大小介于 0 与 1 之间
公理 2规范性\(P(S) = 1\)概率总质量恰为 1 单位
公理 3可数可加性\(P(\bigcup_{i=1}^{\infty} E_i) = \sum_{i=1}^{\infty} P(E_i)\)不重叠的部分直接相加

练习

练习 2-3-1

利用命题 2 证明:对任意两个事件 \(A\)、\(B\)(不要求互斥),\(P(A\cup B) = P(A) + P(B) - P(AB)\)。

答案与提示

把 \(A\cup B\) 拆成两两互斥的三块:\(AB^c\)(只在 \(A\) 发生)、\(A^cB\)(只在 \(B\) 发生)、\(AB\)(同时发生)。由命题 2,\(P(A\cup B)=P(AB^c)+P(A^cB)+P(AB)\);再由 \(A=AB^c\cup AB\)、\(B=A^cB\cup AB\)(均为互斥并)得 \(P(A)=P(AB^c)+P(AB)\)、\(P(B)=P(A^cB)+P(AB)\),代入整理即得。此式即 2.4 节命题 1(c) 的容斥公式。

练习 2-3-2

已知 \(P(A)=0.4\),\(P(B)=0.5\),\(P(AB)=0.2\),求 \(P(A\cup B)\)、\(P(A^c)\) 与 \(P(A-B)\)。

答案与提示

\(P(A\cup B)=0.4+0.5-0.2=0.7\);\(A\) 与 \(A^c\) 互斥且并为 \(S\),故 \(P(A^c)=1-0.4=0.6\);差事件 \(A-B=AB^c\),故 \(P(A-B)=P(A)-P(AB)=0.4-0.2=0.2\)。

练习 2-3-3

直接由三条公理证明 \(P(\emptyset)=0\),并回答:概率为 0 的事件一定是不可能事件吗?

答案与提示

证法同命题 1——在公理 3 中取 \(E_1=S\),\(E_2=E_3=\cdots=\emptyset\),由 \(1=P(S)=1+P(\emptyset)+P(\emptyset)+\cdots\) 及公理 1 的非负性,得 \(P(\emptyset)=0\)。反之不成立:在"寿命 \(\in(0,\infty)\)"这类连续模型中按长度比例赋概率,任何单点事件的概率都是 0,但试验结果总会落在某个点上(详见 2.6 节)。"不可能 \(\Rightarrow\) 概率 0"成立,"概率 0 \(\Rightarrow\) 不可能"一般不成立。

练习 2-3-4

相容性自查:小明认为"明天下雨"的概率是 0.7,"明天不下雨"的概率是 0.2,并且"下雨或不下雨"的概率是 0.9。他的判断哪里与公理冲突?

答案与提示

记 \(E\) 为"下雨",则 \(E\) 与 \(E^c\) 互斥且 \(E\cup E^c=S\),由命题 2 与公理 2 必须 \(P(E)+P(E^c)=1\);而 \(0.7+0.2=0.9\ne 1\),且公理 2 要求 \(P(S)=1\ne 0.9\),两处均不相容。例如可修正为 \(P(E^c)=0.3\),此时"下雨或不下雨"的概率自动等于 1,无须另行报数。