- 用置换(permutation)的语言准确叙述可交换随机变量(exchangeable random variables)的定义,并说明它与"各分量同分布"的关系;
- 证明"独立同分布 ⇒ 可交换",并通过不放回抽样序列说明逆命题不成立;
- 计算不放回抽样下任一具体 0-1 序列的概率,说明其只依赖序列中 1 的个数(超几何结构);
- 用可交换性"一句话"证明抽签公平性:每次抽中红球的概率都是 \(K/N\);
- (选学)了解 de Finetti 定理的含义:无穷可交换序列恰为独立同分布序列的混合。
1. 从独立到可交换:定义与基本关系
在 6.2 节我们引入了独立随机变量,并强调独立同分布(independent and identically distributed, 简称 iid)样本是统计推断的标准模型:它描述"在完全相同的条件下重复做同一随机试验"得到的数据。然而,许多天然的随机序列并不独立——发牌、不放回抽样、依次抓阄——但它们仍保有另一种对称性:序列中没有哪个位置是特殊的,"谁先谁后"不影响概率规律。把这一直觉精确化,就得到本节的核心概念。
称随机向量 \((X_1,\dots,X_n)\) 是可交换的(exchangeable),若对 \((1,2,\dots,n)\) 的任意一个置换 \(\pi=(\pi(1),\dots,\pi(n))\),都有 \[ (X_1,\dots,X_n)\ \overset{d}{=}\ (X_{\pi(1)},\dots,X_{\pi(n)}), \] 即两者有完全相同的联合分布:对一切 \((x_1,\dots,x_n)\), \[ P(X_1\le x_1,\dots,X_n\le x_n)=P\big(X_{\pi(1)}\le x_1,\dots,X_{\pi(n)}\le x_n\big). \]
这里的同分布是对整个 \(n\) 维联合分布而言的。特别地,取 \(\pi\) 为对换 \((i\ j)\) 便知:可交换 ⇒ \(X_i\) 与 \(X_j\) 同分布,从而诸分量的期望、方差全都相同。但可交换性远强于"同分布":它还要求一切联合事件在坐标重排下概率不变,例如 \(P(X_1\le a,\,X_2>b)=P(X_2\le a,\,X_1>b)\)。换言之,联合分布只关心"取到了哪些值",不关心"以怎样的次序取到"。
若 \(X_1,\dots,X_n\) 独立同分布,则 \((X_1,\dots,X_n)\) 可交换。
于是有两个自然的反问:(i) 可交换是否蕴含独立?(ii) 独立是否蕴含可交换?答案都是否定。(i) 的标准反例正是本节的主角——不放回抽样序列(见第 2 节例 1);(ii) 则更容易:独立而不同分布即可,例如 \(X\sim B(1,0.4)\) 与 \(Y\sim B(1,0.7)\) 独立时,二者连边缘分布都不同,自然不可交换。可见"独立"与"同分布"互不蕴含,iid 是二者的交;而可交换性是比"同分布"强、比"独立同分布"弱的对称性条件。图 1 概括了这些关系。
2. 核心例子:不放回抽样
设罐中有 3 个红球、2 个白球(共 5 球),每次抽一球、不放回,连抽 2 次。令 \(I_i\) 为第 \(i\) 次抽中红球的指示变量(indicator variable)。下面的例 1 把"可交换但不独立"算得清清楚楚。
不放回连抽 2 次,求:(a) \(P\)(前两次全红);(b) \(P(I_1=1,I_2=0)\) 与 \(P(I_1=0,I_2=1)\),并说明 \((I_1,I_2)\) 可交换;(c) 该序列是否独立?与"独立情形"对照。
例 1 揭示了两件事:其一,联合概率只依赖序列中红球的个数而不依赖其位置——这正是可交换性;其二,序列不独立——第 1 次的结果会改变第 2 次的条件概率。可交换刻画"次序无关",独立刻画"历史无记忆",二者是本质上不同的对称性。
3. 指示序列与超几何结构
例 1 中"概率只依赖 1 的个数"并非巧合。对取值 0/1 的序列,可交换性有如下完全的刻画,其结构正是第 4 章见过的超几何分布(hypergeometric distribution)的骨架。
设 \(I_1,\dots,I_n\) 为 0-1 随机变量。\((I_1,\dots,I_n)\) 可交换的充要条件是:对每个 \(k=0,1,\dots,n\),所有恰含 \(k\) 个 1 的具体序列 \((x_1,\dots,x_n)\) 有同一个概率(记作 \(p_k\))。此时 \[ P\Big(\sum_{i=1}^{n} I_i=k\Big)=\binom{n}{k}\,p_k,\qquad P\Big(I_1=x_1,\dots,I_n=x_n\ \Big|\ \sum_{i=1}^{n} I_i=k\Big)=\frac{1}{\binom{n}{k}}. \]
罐中 \(K\) 个红球、\(N-K\) 个白球(共 \(N\) 球),不放回抽 \(n\) 次(\(n\le N\)),\(I_i\) 为第 \(i\) 次抽中红球的指示。求任一恰含 \(k\) 个 1 的具体序列的概率,并证明 \((I_1,\dots,I_n)\) 可交换。
4. 抽签的公平性:可交换性的威力
可交换性最漂亮的应用,是给2.5 节的抓阄问题——"抽签与先后次序无关"——一个一行的证明。
条件同例 2。则对每一次 \(i=1,\dots,n\)(\(n\le N\)): \[ P(I_i=1)=\frac{K}{N}. \] 即不放回依次抽取时,每一次抽中红球的概率都等于红球比例 \(K/N\)。
经典实例:10 人依次抓阄,其中 3 张有奖。每人中奖的概率都是 \(3/10\)——第 7 个抓与第 1 个抓机会完全相同;而且"甲、乙二人都中奖"的概率为 \(\frac{3}{10}\times\frac{2}{9}=\frac{1}{15}\)(甲中奖后剩 9 张含 2 奖,乙的条件概率是 \(2/9\),这仍是公平性,只不过用在"变小的罐"上)。要点在于:公平不等于独立。诸 \(I_i\) 同分布(都为 \(K/N\)),但任意两次同时抽中红球的概率为 \[ P(I_i=I_j=1)=\frac{K(K-1)}{N(N-1)}\ <\ \Big(\frac{K}{N}\Big)^{2}\qquad(K<N), \] "抽中"事件两两负相关——知道别人中奖,会略微降低自己中奖的机会,却完全不改变自己中奖的概率。这正是 2.5 节抓阄结论背后的深层结构。
5. 有放回与不放回:一张对比表
同一罐(3 红 2 白),改为有放回抽 2 次。写出 \((I_1,I_2)\) 的联合分布,并与不放回情形对照。
| 项目 | 有放回(独立) | 不放回(非独立) |
|---|---|---|
| \(P(1,1)\) | \(9/25=0.36\) | \(3/5\times 2/4=3/10=0.30\) |
| \(P(1,0)=P(0,1)\) | \(6/25\) | \(3/10\) |
| \(P(0,0)\) | \(4/25\) | \(1/10\) |
| 边缘 \(P(I_1=1)=P(I_2=1)\) | \(3/5\) | \(3/5\)(相同!) |
| 是否可交换 | 是 | 是 |
| 是否独立 | 是 | 否(\(3/10\ne 9/25\)) |
| \(I_1+I_2\) 的分布 | 二项 \(B(2,\,3/5)\) | 超几何 \(\binom{3}{\cdot}\binom{2}{\cdot}/\binom{5}{2}\) |
这张表浓缩了本节的信息:有放回抽样是 iid(定理 1)的原型,不放回抽样是"可交换但不独立"的原型;两者的共同点是"次序无关"与"每次边际概率 \(K/N\)",分岔点在联合分布——独立要求联合概率按边缘乘积分解,可交换只要求联合概率对坐标置换不变。弱化一行条件,就多出一整类重要模型。
6. 选学:de Finetti 定理
意大利概率学家布鲁诺·德菲内蒂(Bruno de Finetti)证明了可交换性概念的"深层结构":无穷可交换序列必是独立同分布序列的混合。以 0-1 序列为例:若 \((I_1,I_2,\dots)\) 的每个有限前段都可交换,则存在 \([0,1]\) 上的一个概率分布 \(\mu\),使得对一切 \(n\) 与恰含 \(k\) 个 1 的序列 \((x_1,\dots,x_n)\), \[ P(I_1=x_1,\dots,I_n=x_n)=\int_0^{1}\theta^{\,k}(1-\theta)^{\,n-k}\,d\mu(\theta). \] 直观读法:"先按 \(\mu\) 随机抽一个参数 \(\theta\)(比如罐中红球比例,但比例本身未知),再在给定 \(\theta\) 下独立地做伯努利试验"。注意两件事:其一,"无穷"不可省——有限可交换序列未必是 iid 混合,不放回抽样(例 1、例 2)就是反例;其二,该定理是贝叶斯统计"先验—独立样本"模型的数学基石:主观学派正是用"可交换性"替代"独立同分布"作为对无知对称性的刻画。练习 4 的 Pólya 罐给出一个可交换且可无穷延续的具体模型,其中 \(\mu\) 恰为 Beta 分布。
7. 本节小结
- 定义:对任意置换 \(\pi\),\((X_1,\dots,X_n)\overset{d}{=}(X_{\pi(1)},\dots,X_{\pi(n)})\),称 \((X_1,\dots,X_n)\) 可交换;它蕴含诸分量同分布,但更强。
- 基本关系:独立同分布 ⇒ 可交换;反之不成立——不放回抽样序列可交换但不独立(3 红 2 白:\(P(1,1)=3/5\times 2/4=3/10\ne 9/25\));独立但不同分布则连可交换都不是。
- 指示序列:可交换 ⟺ 概率只依赖 1 的个数 \(k\);给定总个数为 \(k\) 时每种排列条件概率均为 \(1/\binom{n}{k}\);不放回抽样给出超几何结构。
- 抽签公平性:每次抽中红球的概率都是 \(K/N\)(\(N\cdot P(I_1=1)=K\) 一行证明);公平 ≠ 独立(两两负相关)。
- 选学:de Finetti 定理——无穷可交换 = iid 混合,是贝叶斯模型的基石。
- 至此第 6 章完结。第 7 章将系统挖掘期望的性质:条件期望、全期望公式、协方差与相关系数等。
练习
练习 6-8-1
证明:罐中 \(K\) 红 \(N-K\) 白,不放回抽 \(n\) 次,指示序列 \((I_1,\dots,I_n)\) 可交换。
答案与提示对任一恰含 \(k\) 个 1 的具体序列,逐次相乘得 \(p_k=\dfrac{K(K-1)\cdots(K-k+1)\,\cdot\,(N-K)(N-K-1)\cdots(N-K-n+k+1)}{N(N-1)\cdots(N-n+1)}\): 分母依次为 \(N,N-1,\dots\);红球分子依次为 \(K,K-1,\dots\),白球分子依次为 \(N-K,N-K-1,\dots\)——每个因子只依赖"此前抽走了多少红/多少白",与出现的先后次序无关,故 \(p_k\) 只依赖 \(k\)。由定理 2 的充分性即得可交换。
练习 6-8-2
罐中 \(K\) 红 \(N-K\) 白,不放回依次抽取。求"第 \(k\) 次才首次抽到红球"的概率,并用 \(N=10,\ K=3,\ k=2\) 验证。
答案与提示直接相乘:\(P=\dfrac{(N-K)(N-K-1)\cdots(N-K-k+2)\cdot K}{N(N-1)\cdots(N-k+1)}\)。更漂亮地用可交换性:抽完全部 \(N\) 球时,\(K\) 个红球的 \(\binom{N}{K}\) 种位置安排等可能(例 2),"第 \(k\) 次首次红"即位置 \(k\) 为红且前 \(k-1\) 个位置全白,等价于其余 \(K-1\) 个红球落在后 \(N-k\) 个位置,故 \(P=\dfrac{\binom{N-k}{K-1}}{\binom{N}{K}}\)(\(k=1\) 时退化为 \(K/N\),正是定理 3)。数值:\(\binom{8}{2}/\binom{10}{3}=\frac{28}{120}=\frac{7}{30}\),与 \(\frac{7}{10}\times\frac{3}{9}=\frac{7}{30}\) 一致。
练习 6-8-3
\(\{N(t),t\ge 0\}\) 是率为 \(\lambda\) 的泊松过程(Poisson process)。问增量 \(X_1=N(1)-N(0),\,X_2=N(2)-N(1),\,X_3=N(3)-N(2)\) 是否可交换?若改取 \(Y_1=N(2)-N(0),\,Y_2=N(3)-N(2)\) 呢?
答案与提示前者可交换:由独立增量与平稳增量,三个增量独立同服从 Poisson(\(\lambda\)),由定理 1(iid ⇒ 可交换)即得。后者不可交换:\(Y_1,Y_2\) 仍独立,但 \(Y_1\sim\text{Poisson}(2\lambda)\)、\(Y_2\sim\text{Poisson}(\lambda)\) 不同分布(期望都不等),而可交换必蕴含同分布。本例说明"独立"与"同分布"缺一不可,也再次印证图 1 的关系。
练习 6.8-4(拓展,Pólya 罐)
罐中 \(r\) 红 \(b\) 白;每次抽出一球后,将它与一个同色新球一起放回。证明序列可交换但不独立。
答案与提示对任一恰含 \(k\) 个 1 的长 \(n\) 序列,逐次相乘得 \(p_k=\dfrac{r(r+1)\cdots(r+k-1)\;\cdot\;b(b+1)\cdots(b+n-k-1)}{(r+b)(r+b+1)\cdots(r+b+n-1)}\), 只依赖 \(k\) ⇒ 可交换(定理 2)。但非独立:如 \(r=b=1\) 时 \(P(1,1)=\frac{1}{2}\times\frac{2}{3}=\frac{1}{3}\ne\frac{1}{4}=P(I_1=1)^2\)(这次是正相关:抽中红球会让罐"变红")。有趣的是,该模型可以无穷延续,其内在参数 \(\theta\) 恰服从 Beta\((r,b)\) 分布——正是 de Finetti 定理中 \(\mu\) 的一个具体实例。