第 2 章 · 概率的公理

2.1 引言

Introduction
学习目标
  • 说明概率论为"不确定性"提供的精确数学语言,识别随机试验(random experiment)的三个特征;
  • 分别用频率解释、古典解释与主观解释对同一个概率断言赋值,并指出各解释的适用场合与局限;
  • 验证频率数据的三条基本性质(非负、规范、可加),并说明它们与概率公理的一一对应;
  • 对一组主观概率进行相容性(coherence)检验,指出不相容信念将导致的矛盾;
  • 按顺序说出本章的路线:样本空间与事件 → 三条公理 → 基本命题 → 等可能模型。

1. 概率:不确定性的精确语言

第 1 章我们准备了组合计数这一工具箱;从本章起,正式面对概率论的根本问题:概率究竟是什么?当气象台说"明日降水概率为 30\%"、当工程师说"该元件一年内失效的概率为 0.05"、当分析师说"这个项目成功的概率超过七成"——这些说法之所以有意义,是因为"概率"二字背后存在一套无歧义的数学规则。本章的任务,就是把这套规则从各种直观解释中提炼出来:概率论为不确定性提供精确的数学语言,而这套语言的"语法",就是概率的公理(axioms of probability)。

这套语言描述的对象是随机试验。它有三个特征:可以在相同条件下重复进行;全部可能结果事先明确;而单次试验究竟出现哪个结果(outcome)无法预先确定。"随机"并不意味杂乱无章——恰恰相反,个别结果不可预知的现象,在大量重复观察之下往往呈现出稳定的比率,这种"个别不可预言、整体呈现规律"的性质称为统计规律性(statistical regularity),它是概率论得以建立的经验基础。

定义 1 随机试验

满足以下三个条件的试验称为随机试验(random experiment):(1) 可以在相同条件下重复进行;(2) 试验的全部可能结果事先明确,全体结果构成的集合称为样本空间(sample space),记作 \(S\);(3) 单次试验出现哪一个结果无法预先确定。

例如:掷一颗骰子是随机试验,\(S=\{1,2,3,4,5,6\}\);测量一只灯泡的寿命,\(S=(0,\infty)\)。我们关心的某些结果组成的子集称为事件(event),如"掷出偶数点"。样本空间与事件的严格讨论见 2.2 节

统计规律性最直观的展示,是重复试验中"发生比率"的稳定性。先看一个贯穿本节的例子。

例 1 抛硬币的频率稳定性

将一枚硬币分别抛 \(n=100\)、\(1000\)、\(10000\) 次,正面出现的次数依次为 \(52\)、\(515\)、\(5003\)(模拟数据)。计算每次试验中"正面"的频率,并描述随 \(n\) 增大而呈现的规律。

记 \(n(E)\) 为 \(n\) 次抛掷中正面出现的次数,则频率 \(f_n(E)=n(E)/n\) 分别为 \[ f_{100}(E)=\frac{52}{100}=0.5200,\qquad f_{1000}(E)=\frac{515}{1000}=0.5150,\qquad f_{10000}(E)=\frac{5003}{10000}=0.5003. \] 随着试验次数增大,频率与 \(1/2\) 的偏差从 \(0.0200\) 缩小到 \(0.0003\),呈现出向 \(1/2\) 收敛并稳定下来的趋势(见表 1)。这正是"频率稳定值"式概率观念的经验来源;其严格的理论保证是大数定律(第 8 章),而大数定律的演绎起点,恰恰是本章将要建立的公理体系。
表 1:抛硬币试验的频率数据(例 1,模拟值)
试验次数 \(n\)正面次数 \(n(E)\)频率 \(f_n(E)\)与 \(1/2\) 之差
100520.5200+0.0200
10005150.5150+0.0150
1000050030.5003+0.0003

2. 三种概率解释

那么,"概率"到底是什么?对这一问题的回答至少有三种,分别称为频率解释古典解释主观解释。它们的语义不同、适用的场合不同,但本章最重要的信息是:无论采用哪种解释,概率的数值都必须按同一套规则运算——这套规则就是 2.3 节的公理。

频率解释(frequentist interpretation):事件 \(E\) 的概率是大量重复试验中 \(E\) 发生频率的稳定值,直观地写作 \[ P(E)=\lim_{n\to\infty}\frac{n(E)}{n}, \] 其中 \(n(E)\) 为 \(n\) 次试验中 \(E\) 发生的次数(此式的严格含义由第 8 章的大数定律阐明)。这种解释适合可在相同条件下大量重复的试验:次品率、射击命中率、新生儿性别比等都属于此类。

古典解释(classical interpretation):若试验的全部 \(N\) 个结果等可能(equally likely)——通常由对称性保证,如骰子均匀、洗牌充分、抽签公平——而事件 \(E\) 恰包含 \(m\) 个结果,则 \[ P(E)=\frac{m}{N}. \] 概率问题于是化为计数问题,第 1 章的排列组合工具将在 2.5 节大显身手。古典解释的软肋在于"等可能"本身如何界定:若用"概率相等"来定义等可能,便陷入循环定义——这是推动公理化的动力之一(见本节注记)。

主观解释(subjective interpretation):概率是相信程度(degree of belief)的度量,因而可以对不可重复的一次性事件赋概率,例如"某候选人当选的概率为 0.7"。主观绝不等于随意:一整套信念必须彼此相容,否则决策者会接受一组必输的赌约(见定义 2 与例 3)。

三种概率解释:语义不同,规则相同 频率解释 frequentist 1/2 试验次数 n 增大 P(E) = n(E)/n 的稳定值 大量重复试验中,事件 发生频率的稳定值 (次品率、命中率……) 古典解释 classical N=6 个等可能结果,m=2 个属于 E P(E) = m / N 结果对称、等可能的场合 (掷骰、抽签、发牌) 计算归结为计数 主观解释 subjective 0.7 0 0.5 1 相信程度的标度 P(E) = 对 E 的相信程度 可对一次性事件赋概率 但整组信念必须相容 (相容性见定义 2) 三种解释必须服从同一组规则 —— 概率公理(2.3 节) 非负性 P(E) ≥ 0 · 规范性 P(S) = 1 · 互斥事件可加
图 1:三种概率解释的对照。左:频率随试验次数增大而稳定(数据取自例 1);中:等可能结果的比值;右:相信程度的标度。三者语义不同,但都必须满足同一组概率公理。
例 2 三种解释各自的舞台

下列说法中的"概率",分别最适合用哪种解释来理解?(a) 掷一枚结构均匀的骰子,出现 6 点的概率;(b) 某品牌电池连续使用超过 1000 小时的概率;(c) "本公司下一财年利润增长超过 10\%"的概率。

(a) 骰子的对称性使六个点数等可能,宜用古典解释,\(P=1/6\);若怀疑骰子不均匀,对称性失效,就只能靠大量投掷的频率来估计。(b) 电池寿命试验可以大量重复,宜用频率解释:抽取大批电池做试验,以"超过 1000 小时"的稳定频率作为概率的估计值。(c) 下一财年只有一次,无法重复,宜用主观解释:综合经验与信息给出相信程度,并随新信息更新(贝叶斯观点,见第 3 章)。可见同一情境可能更换解释,但无论哪种解释,数值都必须按同一套公理参与运算。

频率解释之所以特殊,在于它的三条性质可以直接验证,而这三条性质恰好就是概率公理的原型。

命题 1 频率的基本性质

设 \(f_n(E)=n(E)/n\) 为事件 \(E\) 在 \(n\) 次重复试验中发生的频率,则:(a) \(0\le f_n(E)\le 1\);(b) \(f_n(S)=1\);(c) 若 \(E\) 与 \(F\) 互斥(mutually exclusive,即不能同时发生),则 \(f_n(E\cup F)=f_n(E)+f_n(F)\)。

证明(a) 发生次数满足 \(0\le n(E)\le n\),两边同除以 \(n\) 即得。(b) 每次试验必出现样本空间 \(S\) 中的某个结果,故 \(n(S)=n\),从而 \(f_n(S)=1\)。(c) \(E\) 与 \(F\) 互斥时,二者不可能在同一次试验中同时发生,于是 \(E\cup F\) 发生的次数恰为 \(n(E)+n(F)\),同除以 \(n\) 即得结论。∎

把这三条性质与 2.3 节对照:非负且不超过 1、总概率为 1、对互斥事件可加——公理正是把"频率的稳定性质"从经验事实抽象为概率函数必须满足的规则,从而摆脱了"必须能重复试验"的限制。主观解释也必须遵守同样的规则,这就引出相容性概念。

定义 2 主观概率的相容性

一组主观概率赋值若与概率公理不矛盾——例如不会推出 \(P(E)>1\),也不会对互斥事件 \(E,F\) 给出 \(P(E\cup F)\ne P(E)+P(F)\)——则称这组赋值是相容的(coherent);否则称为不相容。

相容性有一个等价的打赌判据:一组信念相容,当且仅当不存在使对手无论结果如何都稳赢的赌约组合(所谓"荷兰赌",Dutch book)。因此"主观"的底线是:可以自由选择初始数值,但不得与公理冲突。

例 3 相容性检验

某政治观察员认为:候选人甲当选的概率 \(P(E)=0.3\),候选人乙当选的概率 \(P(F)=0.35\),且甲、乙恰有一人当选(即 \(E\) 与 \(F\) 互斥)。若他进一步断言"甲或乙当选"的概率为 \(0.7\),这组信念是否相容?

由可加性,相容性要求 \(P(E\cup F)=P(E)+P(F)=0.3+0.35=0.65\)。而他断言 \(P(E\cup F)=0.7\ne 0.65\),与公理矛盾,故这组信念不相容:他必须至少修改其中一个数值。这种"用公理体检信念"的做法,将在 2.3 节正式展开。
注记 为什么必须公理化

三种直观解释各有困难:古典解释用"等可能"定义概率,而"等可能"最自然的说法又是"概率相等",构成循环;频率解释依赖"无限重复"与"频率趋于稳定",但试验无法真正无限进行,稳定性的严格表述本身需要定理(大数定律);主观解释若不加约束,则每个人的概率无法参与公共运算。柯尔莫哥洛夫(Kolmogorov) 1933 年的方案绕开了"概率是什么"的哲学争论,只规定"概率如何运算":凡满足三条公理的集合函数都叫概率。三种解释于是成为同一公理体系的不同语义(模型)。本教程(Ross)采取的正是这一立场。

3. 简史:从赌桌问题到公理体系

概率论的起点通常定于 1654 年:法国贵族德·梅雷(De Méré)向帕斯卡(Pascal)请教赌博中断后的"赌金分配"问题,帕斯卡与费马(Fermat)的通信首次用数学方法系统处理不确定性,被视为这门学科的开端。1657 年,惠更斯(Huygens)在二人工作的基础上出版《论赌博中的计算》——第一部概率论教材,"期望"的思想在此萌芽。此后近两个世纪,伯努利(Bernoulli)、拉普拉斯(Laplace)等人不断把分析方法引入概率论:1812 年拉普拉斯的《概率的分析理论》将古典定义 \(P(E)=m/N\) 系统化,并应用于科学与误差理论。最终,柯尔莫哥洛夫(Kolmogorov)于 1933 年出版《概率论基础》,以三条公理加测度论语言为概率论奠定严格基础,概率论自此成为现代数学的一个分支。本章"从直观解释走向严格公理"的展开次序,正是重走这条三个世纪之路。

从赌桌到公理:概率论公理化之路 1654 帕斯卡 – 费马 赌金分配通信,学科起点 1657 惠更斯 《论赌博中的计算》首部教材 1812 拉普拉斯 《概率的分析理论》古典体系 1933 柯尔莫哥洛夫 《概率论基础》三条公理 自 1654 年赌桌上的通信,到 1933 年测度论上的公理——历时近三个世纪
图 2:概率论发展的关键节点。本章的三条公理即取自柯尔莫哥洛夫 1933 年的公理体系,它使三种直观解释统一于同一套运算规则。

4. 本章路线

有了以上准备,本章将按"舞台 → 规则 → 推论 → 应用"四步展开:

  • 2.2 样本空间与事件:用集合语言为随机试验建模——样本点、事件,以及并、交、补、差与对偶律;
  • 2.3 概率的公理:三条公理正式登场,概率被定义为满足公理的集合函数;
  • 2.4 几个简单命题:从公理出发推出补公式、单调性、容斥原理以及 Bonferroni 与 Boole 不等式;
  • 2.5 等可能结果的样本空间:古典概型全面展开,第 1 章的计数与本章的公理在此合流,解决扑克牌型、生日问题等经典应用。

先搭好舞台(样本空间与事件),再立规则(公理),继而推演(基本命题),最后回到应用(等可能模型)——这既是本章的结构,也是整个概率论的缩影。

5. 本节小结

要点回顾
  • 概率论为不确定性提供精确的数学语言,研究对象是结果事先不可预知的随机试验;"个别不可预言、整体呈现统计规律性"。
  • 三种概率解释:频率解释(大量重复下发生频率的稳定值)、古典解释(等可能结果的比值 \(m/N\))、主观解释(相信程度的相容标度),各有适用场合。
  • 频率的三条性质(非负、规范、可加)是概率公理的原型;无论采用哪种解释,概率都必须满足同一组公理。
  • 主观概率必须通过相容性检验:与公理矛盾的信念组会导出必输的赌约组合(例 3)。
  • 简史:1654 帕斯卡–费马 → 1657 惠更斯 → 1812 拉普拉斯 → 1933 柯尔莫哥洛夫公理化。
  • 本章路线:样本空间与事件 → 三条公理 → 基本命题 → 等可能模型。

练习

练习 2-1-1

下列说法中的"概率"更适合哪种解释?(a) 掷一枚均匀硬币出现正面;(b) 明天本市降水概率 60%;(c) 从流水线上随机抽一件产品是次品;(d) 人类在 2100 年前登陆火星的概率。

答案与提示

(a) 古典解释——硬币的对称性保证两个结果等可能;(c) 频率解释——抽样可大量重复,用稳定频率估计次品率;(b) 与 (d) 均为一次性事件,宜用主观解释(降水概率是依据气象资料作出的专家判断,常按贝叶斯观点理解)。判断的关键:能否重复(频率)、是否有对称性(古典)、是否一次性未来事件(主观)。

练习 2-1-2

为什么主观概率也必须满足公理?设某人对事件 \(E\) 同时断言 \(P(E)=0.6\) 与 \(P(E^c)=0.6\),说明这组信念为何不相容,以及它会带来什么实际后果。

答案与提示

由公理应有一 \(P(E)+P(E^c)=P(S)=1\),而 \(0.6+0.6=1.2>1\),与公理矛盾,故不相容。打赌角度看:此人若按这两个数字接受赌约,对手可就 \(E\) 与 \(E^c\) 同时下注,无论结果如何都能稳赚 \(0.2\) 单位——这正是"荷兰赌"(Dutch book) 套利。相容性(coherence)就是排除此类套利的条件,也是主观概率必须服从公理的理由。

练习 2-1-3

掷一颗骰子 600 次,6 点出现 107 次;再掷 6000 次,6 点出现 983 次。分别计算频率,并与古典值 \(1/6\) 比较,说明你观察到的规律。

答案与提示

\(107/600\approx 0.178\),\(983/6000\approx 0.164\),而 \(1/6\approx 0.167\)。频率先偏离古典值较多,随试验次数增大而更接近 \(1/6\),印证了"频率随 \(n\) 增大趋于概率"的统计规律性——其严格表述即第 8 章的大数定律。