需要第9.3节的收敛定理、第9.4节的乘积积分与第10.3节的弱收敛和紧性。以下随机变量均取有限实值,分布是实数轴上的 Borel 概率测度。学完本节,应能检查特征函数计算中的积分交换条件,并从特征函数极限识别分布极限。
10.4.1 不需要矩的分布变换
设 \(X\) 的分布为 \(\mu\),令 \(i^2=-1\)。定义
复值积分按实部、虚部分别定义。由于 \(|e^{itX}|=1\),这个积分对每个 \(t\) 都存在;既不要求 \(X\) 有密度,也不要求 \(\mathbb E|X|<\infty\)。
从定义可直接得到下面的规则。独立和的规则来自乘积测度上的 Fubini 定理;积分绝对值不超过 \(1\)。
若 \(0\leq p\leq1\),分布是混合 \(\mu=p\mu_1+(1-p)\mu_2\),则 \(\phi_\mu=p\phi_{\mu_1}+(1-p)\phi_{\mu_2}\)。每个特征函数还一致连续,因为 \(|\phi_X(t+h)-\phi_X(t)|\leq\mathbb E|e^{ihX}-1|\),右侧由控制收敛定理趋于零,且与 \(t\) 无关。
若整数 \(k\geq1\) 满足 \(\mathbb E|X|^k<\infty\),则 \(\phi_X\) 有 \(k\) 阶连续导数,且对 \(1\leq j\leq k\),
不等式 \(|e^{iu}-1|\leq|u|\) 给出差商界 \(|(e^{ihX}-1)/h|\leq|X|\)。先用控制收敛将一阶差商移入期望;第 \(j\) 步由 \(|X|^j\) 支配。各低阶矩有限,因为 \(|x|^j\leq1+|x|^k\)。导数的连续性再由同一支配函数得到。特别地,二阶矩有限时,Taylor 公式给出 \(\phi_X(t)=1+it\mathbb EX-t^2\mathbb EX^2/2+o(t^2)\)。证毕。
这只给出了有限阶展开。任意阶矩是否存在、能否写收敛的无穷级数、矩母函数 \(M_X(s)=\mathbb E e^{sX}\) 是否在零点附近有限,都是额外问题。
10.4.2 计算:从积分到独立和
设 \(Z\sim N(0,1)\),密度 \(g(x)=(2\pi)^{-1/2}e^{-x^2/2}\)。由于 \(\mathbb E|Z|<\infty\),可对特征函数求导。利用 \(g'(x)=-xg(x)\) 分部积分,边界项 \(e^{itx}g(x)\) 在两端趋零,得到
结合 \(\phi_Z(0)=1\),解得 \(\phi_Z(t)=e^{-t^2/2}\)。于是 \(m+\sigma Z\) 的特征函数为 \(e^{imt-\sigma^2t^2/2}\)。特别地,独立正态变量的和仍为正态:乘积将均值相加、方差相加;分布识别由下节的唯一性保证。
还需要一个不依赖一般反演定理的恒等式。将刚算出的高斯积分作代换 \(v=\sigma t\),对每个 \(\sigma>0\) 得到
右侧绝对可积,等式直接来自正态特征函数的计算。下一节用它构造平滑密度,不会预先假定任意分布已有反演公式。
| 分布及参数 | 特征函数 | 计算依据 |
|---|---|---|
| Bernoulli\((p)\),\(0\leq p\leq1\) | \(1-p+pe^{it}\) | 在两个取值处求和 |
| Poisson\((\lambda)\),\(\lambda>0\) | \(\exp\{\lambda(e^{it}-1)\}\) | 指数函数的绝对收敛级数 |
| 指数分布,速率 \(r>0\) | \(r/(r-it)\) | 积分 \(\int_0^\infty r e^{-(r-it)x}\,dx\) |
| 均匀分布 \(U(a,b)\),\(a<b\) | \((e^{itb}-e^{ita})/[it(b-a)]\),\(t\ne0\) | 在 \([a,b]\) 上积分;\(t=0\) 时取 \(1\) |
例如,若 \(N\sim\mathrm{Poisson}(\lambda)\),逐项求和得到
该级数的绝对值之和为 \(e^\lambda\)。指数分布的复指数积分也可按实、虚部验证原函数,再取端点极限。这些计算直接从定义出发,无须先假设矩母函数存在,再形式地把参数换成 \(it\)。
10.4.3 高斯平滑与分布唯一性
实数轴上两个概率测度 \(\mu,\nu\) 相等,当且仅当 \(\phi_\mu(t)=\phi_\nu(t)\) 对所有 \(t\in\mathbb R\) 成立。
正向结论来自定义。反向设两个特征函数相等。给服从 \(\mu\) 的变量加上独立噪声 \(\sigma Z\),得到卷积 \(\mu*g_\sigma\)。Tonelli 定理表明它有密度 \(p_{\mu,\sigma}(x)=\int g_\sigma(x-y)\,\mu(dy)\);高斯密度连续且有界,控制收敛还给出 \(p_{\mu,\sigma}\) 连续。代入式 (10.4-5),得到
交换积分合法,因为被积式绝对值的双重积分等于 \(\int_{\mathbb R}e^{-\sigma^2t^2/2}\,dt<\infty\)。因此,对每个 \(\sigma>0\),\(p_{\mu,\sigma}=p_{\nu,\sigma}\)。
令 \(x\) 为两个分布函数的共同连续点。在 \(\mu\) 与标准正态的乘积空间上,当 \(\sigma\downarrow0\) 时,\(\mathbf1_{\{y+\sigma z\leq x\}}\to\mathbf1_{\{y\leq x\}}\),除去零测集 \(\{y=x\}\)。控制收敛给出平滑分布在 \(x\) 处的分布函数趋于 \(F_\mu(x)\),对 \(\nu\) 同理。故 \(F_\mu(x)=F_\nu(x)\)。分布函数各自只有至多可数个不连续点,共同连续点稠密;再用右连续性可得处处相等。由分布函数确定测度,\(\mu=\nu\)。证毕。
10.4.4 反演条件与没有矩母函数的例子
若 \(\int_{\mathbb R}|\phi_\mu(t)|\,dt<\infty\),则 \(\mu\) 有有界连续密度
绝对可积性给出有界性,控制收敛给出连续性。将 \(f\) 与式 (10.4-7) 比较:
因此 \(f\geq0\)。若 \(a<b\) 都是 \(F_\mu\) 的连续点,左侧的一致收敛给出 \(\int_a^b p_{\mu,\sigma}\to\int_a^b f\),而上一证明的分布函数极限给出同一个量趋于 \(\mu((a,b])\)。让这样的端点趋向两端无穷,单调收敛得 \(\int_{\mathbb R}f=1\)。这些端点可以从一个稠密集选择,相应区间确定 Borel 测度,故 \(\mu(dx)=f(x)\,dx\)。证毕。
此处的绝对可积条件是充分条件,并非所有有密度的分布都满足它,更不是唯一性定理的前提。对于不满足它的分布,不能直接套用式 (10.4-8) 的普通绝对收敛积分。
先取双指数(Laplace)密度 \(q(x)=e^{-|x|}/2\)。将积分分成正负两半可算得
该特征函数可积,反演得 \(e^{-|y|}/2=(2\pi)^{-1}\int e^{-ity}/(1+t^2)\,dt\)。等式先作为密度等式几乎处处成立;两边连续,所以处处成立。取 \(y=-s\) 并乘以 \(2\),便得到标准柯西(Cauchy)变量 \(C\) 的特征函数:
若实数 \(s>0\),则 \(e^{sx}/(1+x^2)\) 的右尾积分发散;\(s<0\) 时左尾发散。因此 \(M_C(s)=\infty\) 对所有 \(s\ne0\) 成立。正、负两半的均值积分也都发散,故 \(\mathbb EC\) 未定义,不能用对称性把它写成零。这与 \(e^{-|s|}\) 在零点不可微一致。
若 \(C_1,\ldots,C_n\) 独立同分布于标准柯西分布,则
由唯一性,平均值仍服从标准柯西分布。特别地,\(\mathbb P(|(C_1+\cdots+C_n)/n|>1)=1/2\),不会依概率趋于零。这正说明大数定律中的可积性条件需要检查。
10.4.5 Lévy 连续定理:由函数极限得到分布极限
设 \(\mu_n\) 是实数轴上的概率测度,特征函数为 \(\phi_n\)。若 \(\mu_n\Rightarrow\mu\),则 \(\phi_n(t)\to\phi_\mu(t)\) 对每个实数 \(t\) 成立。反之,若 \(\phi_n(t)\to\phi(t)\) 处处成立,且 \(\phi\) 在 \(0\) 连续,则存在唯一概率测度 \(\mu\) 满足 \(\phi=\phi_\mu\),并且 \(\mu_n\Rightarrow\mu\)。
正向只需对有界连续函数 \(\cos(tx)\)、\(\sin(tx)\) 使用弱收敛定义。反向的关键是先证明 \((\mu_n)\) 紧。取 \(X_n\sim\mu_n\),记 \(\sin u/u\) 在 \(u=0\) 的值为 \(1\)。对任意 \(\delta>0\),Fubini 给出
被积函数非负且有界,故不需要 \(X_n\) 的任何矩。当 \(|X_n|\geq2/\delta\) 时,\(|\sin(\delta X_n)/(\delta X_n)|\leq1/2\),所以
上界的极限来自区间上的控制收敛。由 \(\phi(0)=1\) 和零点连续性,最后一项随 \(\delta\downarrow0\) 趋零。给定 \(\varepsilon>0\),先选小 \(\delta\),再取足够大的 \(n\),即可让尾概率小于 \(\varepsilon\)。有限多个剩余分布各自的尾概率也趋零,增大同一个半径便能控制全部 \(n\)。这就是紧性。
使用第10.3节实数轴上的紧性子列定理,任意子列都有弱收敛的进一步子列。每个这样的极限按正向结论都以 \(\phi\) 为特征函数,再由唯一性知道极限均为同一个 \(\mu\)。若整列不弱收敛到 \(\mu\),则存在有界连续测试函数及一个子列,其积分始终偏离 \(\int h\,d\mu\) 一定距离;取该子列的弱收敛进一步子列便矛盾。证毕。
证明中所用的紧性子列定理已经在上一节讨论:对有理点的分布函数值作对角选取,紧性保证候选分布函数在两端的极限为 \(0\) 和 \(1\)。本节展开了特征函数如何产生紧性估计,没有重新证明一般空间的 Prokhorov 定理。
令 \(X_n\sim U(-n,n)\)。直接积分得
极限在零点不连续,因此不是概率分布的特征函数。对固定 \(R>0\) 和 \(n>R\),\(\mathbb P(|X_n|\leq R)=R/n\to0\),这列分布不紧。逐点收敛的确发生了,但概率质量离开了每一个固定有界区间。
10.4.6 习题与完整解答
习题 10.4-1 独立复制与对称化
令 \(X'\) 是 \(X\) 的独立同分布复制。证明 \(|\phi_X(t)|^2\) 是一个特征函数,并说明对应分布为何关于零对称。若 \(X\sim\mathrm{Bernoulli}(p)\),求该分布。
独立性及共轭关系给出 \(\phi_{X-X'}(t)=\phi_X(t)\phi_X(-t)=|\phi_X(t)|^2\)。交换 \(X,X'\) 不改变联合分布,却把差变为相反数,所以 \(X-X'\) 对称。Bernoulli 情形中,取值 \(-1,1\) 各有概率 \(p(1-p)\),取值 \(0\) 的概率为 \(p^2+(1-p)^2\)。因此
构造独立复制可以在原概率空间与自身的乘积空间上完成;不要求原空间已经含有这份独立随机性。
习题 10.4-2 稀有事件的 Poisson 极限
固定 \(\lambda>0\),当整数 \(n\geq\lambda\) 时,令 \(B_n\sim\mathrm{Binomial}(n,\lambda/n)\)。不用概率质量函数逐项求极限,证明 \(B_n\Rightarrow\mathrm{Poisson}(\lambda)\)。
把二项变量表示为 \(n\) 个独立 Bernoulli 变量的和,得到
对固定复数 \(z=\lambda(e^{it}-1)\),当 \(n\) 足够大时可在 \(1\) 的邻域使用 \(\log(1+z/n)=z/n+O(n^{-2})\);乘以 \(n\) 再取指数即得上述极限。极限是式 (10.4-6) 的 Poisson 特征函数,且在零点连续,故 Lévy 连续定理给出所求弱收敛。
习题 10.4-3 对称随机游走的正态尺度
设 \(\xi_j\) 独立同分布,\(\mathbb P(\xi_j=1)=\mathbb P(\xi_j=-1)=1/2\)。证明 \(n^{-1/2}\sum_{j=1}^n\xi_j\Rightarrow N(0,1)\)。
单步特征函数为 \(\cos t\)。固定 \(t\),当 \(n\) 足够大时 \(\cos(t/\sqrt n)>0\),故可取实对数。利用 \(\log\cos u=-u^2/2+O(u^4)\),有
于是特征函数趋于 \(e^{-t^2/2}\)。该极限在零点连续,且由例 10.4-1 可识别为标准正态的特征函数,结论由 Lévy 连续定理成立。这里的余项只要求对每个固定 \(t\) 趋零,无须对所有实数 \(t\) 一致;一般中心极限定理将在第10.6节展开。
习题 10.4-4 连续且有界就一定是特征函数吗?
函数 \(\psi(t)=e^{-t^4}\) 连续、偶对称,满足 \(\psi(0)=1\) 和 \(|\psi|\leq1\)。证明它仍不可能是概率分布的特征函数。不要预先假设二阶矩存在。
反设 \(\psi=\phi_X\)。对任意趋零的非零实数列 \(h_m\),非负函数 \(2(1-\cos(h_mX))/h_m^2\) 逐点趋于 \(X^2\)。Fatou 引理因此给出
故 \(X=0\) 几乎必然,从而 \(\phi_X\equiv1\),与 \(\psi(1)=e^{-1}\) 矛盾。Lévy 定理要求候选函数是一列已有特征函数的逐点极限;连续性与初等界本身不够。
关键术语
- 特征函数:\(\phi_X(t)=\mathbb E e^{itX}\),对任意实值随机变量均存在。
- 共轭对称:\(\phi_X(-t)=\overline{\phi_X(t)}\)。
- 卷积:独立和的分布;其特征函数为两个特征函数的乘积。
- 高斯平滑:加入独立正态噪声,使任意概率测度获得连续密度。
- 唯一性:所有频率处的特征函数值决定整个分布。
- 反演:在适当条件下,由特征函数积分恢复分布或密度。
- 紧性:对任意 \(\varepsilon>0\),同一个有界区间能包含每个分布至少 \(1-\varepsilon\) 的概率。
- Lévy 连续定理:将零点连续的特征函数逐点极限转化为弱收敛。
参考文献
- Durrett, R. Probability: Theory and Examples, 5th ed., §3.3。参见特征函数唯一性、定理 3.3.14 的可积反演、例 3.3.16 的柯西分布以及定理 3.3.17 的连续定理。作者公开版本。本节以高斯平滑独立推导唯一性和可积反演。
- MIT OpenCourseWare, 6.436J / 15.085J Fundamentals of Probability, Fall 2018, Lecture 15, “Multivariate Normal Distributions Continued; Characteristic Functions”,第4部分。包含总存在性、基本规则、矩的充分条件及另一种唯一性证明;其反演公式的条件与本节所用的绝对可积条件不同。课程原始讲义。