7.2　随机变量之和的期望 — 概率论基础教程

学习目标

陈述并证明期望的线性性定理，说明其证明为何不需要独立性假设；
熟练运用指示变量法，把"计数值"的期望化为诸事件概率之和，并按"四步流程"独立解题；
推导匹配问题、超几何分布、二项分布与优惠券收集问题等经典结果的期望；
解释样本均值 \(E[\bar X]=\mu\)（无偏性）为何不需要独立性条件；
了解调和数 \(H_n\) 与优惠券收集期望 \(n H_n\) 的来源及其增长速度。

1. 线性性：和的期望等于期望的和

上一节我们预告了本章的主旋律：把复杂的随机量分解为简单量之和。对期望而言，这个策略会得到一个出人意料彻底的回报——和的期望永远等于期望的和，而且不附带任何独立性条件。回顾第 6 章的经验：求两个随机变量之和 \(X+Y\) 的分布，需要卷积或对联合分布做繁重的枚举；而求它的期望，只需知道各自的边际期望。"期望易、分布难"这一格局的根源，正是下面的定理。

定理 1　期望的线性性(linearity of expectation)

设 \(X_1,X_2,\dots,X_n\) 是定义在同一样本空间上的随机变量，各自的期望都存在，则对任意常数 \(a_1,\dots,a_n\)，\[ E[a_1X_1+a_2X_2+\cdots+a_nX_n]=a_1E[X_1]+a_2E[X_2]+\cdots+a_nE[X_n]. \] 特别地，\(E[X_1+\cdots+X_n]=E[X_1]+\cdots+E[X_n]\)。本定理不需要任何独立性假设。

证明先证 \(n=2\)、系数均为 \(1\) 的离散情形。设 \((X,Y)\) 的联合分布列为 \(p(x,y)\)，则 \[ E[X+Y]=\sum_x\sum_y (x+y)\,p(x,y) =\sum_x x\sum_y p(x,y)+\sum_y y\sum_x p(x,y) =\sum_x x\,p_X(x)+\sum_y y\,p_Y(y)=E[X]+E[Y]. \] 第二个等号是全部关键：把双重求和拆开并交换求和次序，含 \(x\) 的项聚成 "\(x\) 乘以该列概率之和"，含 \(y\) 的项聚成 "\(y\) 乘以该行概率之和"；而列和、行和恰是边际分布列。级数的绝对可和性保证了拆分与交换合法（完全一般的讨论见 7.8 节）。连续情形完全平行，只需把二重求和换成二重积分、交换积分次序。再由数学归纳法得 \(n\) 项及带系数的情形。

直观地说，期望本质上是"加权平均"，而平均是线性运算：\(n\) 份保单的总平均赔付，等于各单平均赔付之和，与各单之间是否独立毫无关系。线性性看似平凡，却是本章乃至整个应用概率最常用的工具。先看两个直接应用。

例 1　样本均值的期望（无偏性）

设 \(X_1,\dots,X_n\) 是来自某总体的样本（例如对同一量的 \(n\) 次重复观测），各 \(E[X_i]=\mu\)。定义样本均值(sample mean) \(\bar X=\dfrac{X_1+\cdots+X_n}{n}\)，求 \(E[\bar X]\)。

解由线性性（常数因子可以提到期望外），\[ E[\bar X]=\frac1n\,E[X_1+\cdots+X_n]=\frac1n\bigl(E[X_1]+\cdots+E[X_n]\bigr)=\frac1n\cdot n\mu=\mu. \] 注意推导中没有用到独立性：只要每个观测的期望都是 \(\mu\)，样本均值的期望就恰等于总体均值。统计学称这样的估计量是无偏的(unbiased)。例如灯泡寿命 \(\mu=1000\) 小时，任取 \(n=9\) 只灯泡测平均寿命，单次 \(\bar X\) 忽大忽小，但其长期平均值恰为 \(1000\)。至于 \(\bar X\) "有多集中"，则要等方差工具登场（7.3、7.7 节）。

例 2　掷 n 颗骰子的点数和

同时掷 \(n\) 颗骰子，以 \(S\) 记点数之和，求 \(E[S]\)。

解单颗骰子 \(E[X_i]=(1+2+\cdots+6)/6=21/6=3.5\)。由线性性，\(E[S]=3.5+\cdots+3.5=3.5n\)；例如 \(n=10\) 时 \(E[S]=35\)。对照：若直接求 \(S\) 的分布，需对 \(n\) 个均匀分布逐次卷积，随 \(n\) 增大迅速变得繁琐——而期望始终是一行的事。

注记　独立性为何不必需，方差为何没这待遇

证明只用到联合分布的行和与列和，也就是边际分布；独立性只改变联合分布的"内部形状"，从不改变行和与列和。但要当心：这种"免费的线性"是期望独有的待遇。方差一般不线性：取 \(Y=-X\)，则 \(\mathrm{Var}(X+Y)=\mathrm{Var}(0)=0\)，而 \(\mathrm{Var}(X)+\mathrm{Var}(Y)=2\mathrm{Var}(X)\)。缺失的修正项正是协方差，这是 7.3 节的主题。

2. 指示变量法：把"计数"拆成 0 与 1

线性性最富生产力的用法，是把"数个数"的随机变量拆成一批最简单的 0–1 变量之和。这套手法称为指示变量法(indicator method)，是全书最重要的解题方法论之一，本节用三个经典问题把它讲透。

定义 1　指示变量(indicator random variable)

对样本空间 \(S\) 中的事件 \(A\)，定义随机变量 \[ I_A(\omega)=\begin{cases}1, & \omega\in A,\\[2pt] 0, & \omega\notin A.\end{cases} \] 它只回答一个"是非题"：\(A\) 发生与否。

两条基本事实：其一，\(I_A^2=I_A\)（取值仅 0 与 1，平方不变——7.3 节计算方差时还会用到）；其二，\[ E[I_A]=0\cdot P(A^c)+1\cdot P(A)=P(A). \] 指示变量的期望就是事件的概率。概率由此被"翻译"成期望的语言，从而纳入线性性的管辖。

定理 2　计数公式

设 \(X\) 表示 \(n\) 个事件 \(A_1,\dots,A_n\) 中发生事件的个数，即 \(X=\sum_{i=1}^n I_{A_i}\)，则 \[ E[X]=P(A_1)+P(A_2)+\cdots+P(A_n). \]

证明一行足矣：\(E[X]=E\bigl[\sum_i I_{A_i}\bigr]\overset{\text{定理 1}}{=}\sum_i E[I_{A_i}]\overset{\text{定义 1}}{=}\sum_i P(A_i)\)。定理 1 无需独立性，故本定理同样无需事件之间任何形式的不相关。

请停下来体会这条一行定理为何威力巨大，这是本节最需要"浓墨重彩"的地方：

不需要独立。诸事件可以任意相关——下例匹配问题中它们明显相关——求和照常进行。线性性只"看见"每个事件各自的概率。
不需要 \(X\) 的分布。直接求"恰好 \(k\) 个发生"的概率往往要费大力气（见练习 3），而期望完全绕开了分布。
把全局计数化为局部概率。"整体数一遍"被替换为"逐个事件算一个概率再相加"，而单个 \(P(A_i)\) 常由对称性一眼看出。

操作上是固定的四步：认出计数量 \(X\) → 为每个被数对象设事件 \(A_i\) → 求 \(P(A_i)\)（常由对称性）→ 相加。图 1 展示了这一分解在一个具体试验结果上的样子。

图 1："计数 = 指示求和"示意图。在结果 \(\omega\) 处，发生的事件取 1、未发生的取 0，求和便得到计数 \(X(\omega)\)；对结果取平均后，每个指示值换成相应的概率，于是 \(E[X]=\sum_i P(A_i)\)。整个过程从未用过独立性。

例 3　匹配问题：平均恰有一人取对帽子

（匹配问题, matching problem）\(n\) 人聚会时把帽子混放在一起，会后每人从中随机取一顶（所有分配方式等可能）。以 \(X\) 记恰好取到自己帽子的人数，求 \(E[X]\)，并回答：结果与 \(n\) 有关吗？

解令 \(A_i\) = "第 \(i\) 人取到自己的帽子"。在全部 \(n!\) 种等可能的帽子分配（即 \(1,\dots,n\) 的排列）中，第 \(i\) 人的帽子被固定给本人的有 \((n-1)!\) 种，故 \[ P(A_i)=\frac{(n-1)!}{n!}=\frac1n. \] \(X=\sum_{i=1}^n I_{A_i}\) 正是发生的事件个数，由定理 2，\[ E[X]=\sum_{i=1}^n P(A_i)=n\cdot\frac1n=1. \] 答案与 \(n\) 无关：无论 3 人还是 100 人，平均都恰有 1 人取对！直觉：每人取对的机会是 \(1/n\)，\(n\) 个人恰好"凑"成 1 个。请注意诸 \(A_i\) 明显不独立——例如 \(P(A_iA_j)=\dfrac{1}{n(n-1)}\neq \dfrac1{n^2}\)——但定理 2 全然不在乎。"恰好 \(k\) 人取对"的分布见练习 3，匹配数的方差见练习 4。

例 4　超几何分布的期望

\(N\) 件产品中有 \(K\) 件次品，不放回随机抽取 \(n\) 件，以 \(X\) 记抽到的次品数（\(X\) 服从超几何分布, hypergeometric distribution）。证明 \(E[X]=\dfrac{nK}{N}\)，并计算 \(N=10,\ K=3,\ n=5\) 的数值。

解令 \(I_j\) = "第 \(j\) 次抽到次品"，则 \(X=\sum_{j=1}^n I_j\)。关键在求 \(P(I_j=1)\)：不放回抽取产生的有序序列中，任何一件产品等可能出现在任何位置（抽取位置可交换，参见 6.8 节），于是对固定位置 \(j\)，\(P(I_j=1)=K/N\)——与 \(j\) 无关。因此 \[ E[X]=\sum_{j=1}^n P(I_j=1)=n\cdot\frac KN=\frac{nK}{N}. \] 数值：\(E[X]=5\times 3/10=1.5\)。顺带一提：若改为有放回抽取，则 \(X\sim B(5,0.3)\)，期望同为 \(1.5\)——两种抽法期望一致，方差却不同（见 7.3 节）。若不用指示法，就得对超几何分布列 \(\binom{K}{x}\binom{N-K}{n-x}\big/\binom{N}{n}\) 直接求和，费力得多。

例 5　二项分布期望的一行证明

设 \(X\sim B(n,p)\)（\(n\) 次独立重复试验的成功次数），用指示变量法重新推导 \(E[X]\)。

解令 \(I_i\) = "第 \(i\) 次试验成功"，则 \(X=I_1+\cdots+I_n\) 且 \(P(I_i=1)=p\)，于是 \[ E[X]=\sum_{i=1}^n P(I_i)=np. \] 4.6 节曾用二项式定理对 \(\sum_k k\binom nk p^k q^{n-k}\) 计算半页纸，如今一行收工——这就是方法论的杠杆。（此处各 \(I_i\) 确实独立，但如前所述，即使不独立结论依旧。）

注记　最古老的匹配问题

匹配问题由 Montmort 于 1708 年在《概率分析》中研究，是最早被认真求解的概率问题之一；用随机排列的语言说，\(X\) 是排列的不动点(fixed point)个数。令人吃惊的结论"平均恰有 1 个不动点、与 \(n\) 无关"以及"完全错排概率趋于 \(1/e\)"（练习 3），使它至今仍是概率课上的保留节目。

3. 优惠券收集：分阶段的几何等待

优惠券收集问题(coupon collector's problem)：每次购买等可能地附赠 \(n\) 种优惠券之一（各次独立），以 \(X\) 记集齐全部 \(n\) 种所需的购买次数，求 \(E[X]\)。这里 \(X\) 不是"发生个数"，而是"总等待时间"——但它可以拆成逐阶段等待时间之和，依然是线性性的舞台，只是"求和的对象"从指示变量换成了几何分布。

例 6　优惠券收集：分阶段推导 E[X] = n·H_n

如上所述，求 \(E[X]\)，并计算 \(n=6\)（掷骰子直到 6 个点数都出现过）的数值。

解把收集过程分阶段：设已收集到 \(k\) 种（阶段 \(k\)，\(k=0,1,\dots,n-1\)），则下一次抽到新种类的概率为 \((n-k)/n\)，且各次抽取独立，故等待新种类所需的次数 \(T_k\) 服从成功概率 \((n-k)/n\) 的几何分布(geometric distribution)，其期望为倒数 \[ E[T_k]=\frac{n}{n-k} \]（几何分布期望 \(1/p\) 见第 4 章；不用公式的优雅推导见 7.4 节）。由 \(X=T_0+T_1+\cdots+T_{n-1}\) 及线性性，\[ E[X]=\sum_{k=0}^{n-1}\frac{n}{n-k}=n\left(1+\frac12+\frac13+\cdots+\frac1n\right)=n H_n, \] 其中 \[ H_n=1+\frac12+\cdots+\frac1n \] 称为第 \(n\) 个调和数(harmonic number)。数值（\(n=6\)）：\(H_6=1+0.5+\frac13+0.25+0.2+\frac16=2.45\)，故 \(E[X]=6\times 2.45=14.7\) 次。阶段明细见表 1 与图 2：起步几乎白送（第一次必然是"新"的，期望恰为 1），越往后越难——等待最后一种平均要整整 6 次，独占总期望的四成。

图 2：优惠券收集的阶段分解（\(n=6\)，掷骰子集齐全部点数）。各阶段期望 \(n/(n-k)\) 依次为 1, 1.2, 1.5, 2, 3, 6：期望逐阶段递增，等待最后一种平均需要 6 次，约占总期望 14.7 的四成——集齐的瓶颈永远在"最后一张"。

表 1：优惠券收集的阶段分解（n = 6）
阶段 k（已收集 k 种）	新类型概率 \((6-k)/6\)	期望抽取次数 \(6/(6-k)\)
0	\(6/6 = 1\)	\(1\)
1	\(5/6 \approx 0.833\)	\(1.2\)
2	\(4/6 \approx 0.667\)	\(1.5\)
3	\(3/6 = 0.5\)	\(2\)
4	\(2/6 \approx 0.333\)	\(3\)
5	\(1/6 \approx 0.167\)	\(6\)
合计	\(E[X]=6\,H_6=6\times 2.45\)	\(14.7\)

注记　调和数的增长与 n ln n 法则

调和数增长缓慢：\(H_n\approx \ln n+\gamma\)，其中 \(\gamma\approx 0.5772\) 是欧拉常数，故 \(E[X]\approx n\ln n+0.5772\,n\)。例如集齐 50 种优惠券平均约需 \(50\times(\ln 50+0.5772)\approx 225\) 次——"翻倍的品种数远不止翻倍的等待"。"\(n\ln n\)"这一增长阶在计算机科学中反复出现：哈希表全部格子被占用、负载均衡中所有处理器被覆盖等，本质上都是优惠券收集问题。

4. 本节小结

要点回顾

线性性：\(E[\sum_i a_iX_i]=\sum_i a_iE[X_i]\)，无需独立性；离散情形证明的核心动作是交换求和次序。
指示变量法：\(X=\sum_i I_{A_i}\Rightarrow E[X]=\sum_i P(A_i)\)。不需独立、不需 \(X\) 的分布，把"全局计数"化为"局部概率"，四步流程：认计数量、设事件、求概率、相加。
经典结果：匹配数 \(E=1\)（与 \(n\) 无关）；超几何 \(E=nK/N\)（\(N=10,K=3,n=5\) 时为 \(1.5\)）；二项 \(E=np\)（一行证明）；掷 \(n\) 颗骰子点数和 \(=3.5n\)。
优惠券收集：分阶段几何等待，\(E=\sum_k n/(n-k)=nH_n\)；骰子集齐 6 面 \(=6\times 2.45=14.7\) 次。
样本均值：\(E[\bar X]=\mu\)（无偏），同样不需独立。
线性是期望独有的待遇，方差并不享有——缺的修正项是协方差，这正是 7.3 节的主题。

练习

练习 7-2-1

随机子集的大小：从 \(\{1,2,\dots,n\}\) 出发，每个元素独立地以概率 \(1/2\) 被选入子集 \(S\)。求 \(E[|S|]\)。

答案与提示

令 \(I_i\) = "元素 \(i\) 被选中"，则 \(P(I_i=1)=1/2\)，\(|S|=\sum_i I_i\)，故 \(E[|S|]=n\cdot\frac12=\frac n2\)。它与"抛 \(n\) 枚硬币求正面数"同构；注意求期望时连独立性都不必用（求分布才需要）。

练习 7-2-2

成双的鞋：10 双（共 20 只）鞋中随机取出 6 只，以 \(X\) 记其中恰好成双的对数，求 \(E[X]\)。

答案与提示

令 \(A_i\) = "第 \(i\) 双的两只都被取中"，则 \(P(A_i)=\binom{18}{4}\big/\binom{20}{6}=\frac{3060}{38760}\approx 0.0789\)（第 \(i\) 双全取、其余 4 只从余下 18 只中取）。于是 \(E[X]=10\times 0.0789\approx 0.789\) 对——平均而言凑不齐一双。

练习 7-2-3

匹配的分布（例 3 续）：\(n=4\) 时求"恰好有 1 人取对自己帽子"的概率；并写出一般 \(n\) 时"恰好 \(k\) 个匹配"的概率公式。

答案与提示

先选出取对的那个人（\(\binom41=4\) 种），其余 3 人须全部取错（错排数 \(D_3=2\)），故 \(P=\frac{4\times 2}{4!}=\frac13\)。一般地 \(P(\text{恰 } k \text{ 个匹配})=\binom nk\frac{D_{n-k}}{n!}\)，其中 \(D_m=m!\sum_{i=0}^m\frac{(-1)^i}{i!}\)；当 \(n\) 大时该概率近似 \(\dfrac{e^{-1}}{k!}\)——匹配数近似服从泊松分布 \(P(1)\)，这正是"期望为 1"的分布论解释。

练习 7-2-4

（选学）匹配数的方差：证明当 \(n\ge 2\) 时 \(\mathrm{Var}(X)=1\)。

答案与提示

利用 \(I_i^2=I_i\) 与例 3 中的 \(P(A_iA_j)=\frac{1}{n(n-1)}\)：\(E[X^2]=\sum_i E[I_i]+2\sum_{i<j}E[I_iI_j]=1+2\binom n2\cdot\frac{1}{n(n-1)}=2\)，故 \(\mathrm{Var}(X)=2-1=1\)。可见匹配数不仅期望与 \(n\) 无关，方差也与 \(n\) 无关；协方差的系统处理见 7.3 节。