第 9 章 · 概率空间与测度积分

9.5 Lp空间与一致可积性

Lp Spaces and Uniform Integrability
Lp空间把几乎处处相等的函数视为同一元素,用矩衡量大小与距离。本节推导Hölder和Minkowski不等式,说明概率空间中的包含关系,再用尖峰函数区分一阶矩有界与一致可积。通过截断证明Vitali定理,明确依概率收敛何时能提升为均值收敛,并给出高阶矩控制、尾部估计与条件失效的例子。
先修与范围

本节使用 9.3 节的积分与收敛定理。除习题明确改换测度外,所有实随机变量都定义在同一个概率空间 \((\Omega,\mathcal F,P)\) 上,\(\mathbb E\) 表示对 \(P\) 积分。无需独立或同分布假设。

9.5.1 从函数到Lp等价类

若 \(P(X=Y)=1\),积分无法区分 \(X,Y\),记作 \(X\sim Y\)。这是一种等价关系。一个等价类包含所有只在零概率事件上不同的可测版本;写 \(X\in L^p\) 时,通常不再把等价类符号单独写出。

定义 9.5-1 Lp范数
\[\begin{aligned} \|X\|_p&=(\mathbb E|X|^p)^{1/p},&&1\leq p<\infty,\\ \|X\|_\infty&=\inf\{M\geq0:P(|X|>M)=0\}.&& \end{aligned}\]
(9.5-1)

\(L^p(\Omega,\mathcal F,P)\) 是上述量有限的可测函数等价类组成的空间。\(\|X\|_\infty\) 是 \(|X|\) 的本质上确界(essential supremum),忽略零概率事件上的值。空集的下确界按 \(\infty\) 计。

例如在 \((0,1)\) 的均匀概率下,\(X=\mathbf1_{\mathbb Q}\) 与零函数属于同一等价类,因此所有上述范数都为零,尽管逐点上确界为一。取等价类之后,\(\|X\|_p=0\) 才意味着 \(X\) 是空间中的零元素。齐次性直接来自积分;三角不等式将在下一部分证明。

\(L^p\) 收敛指 \(\|X_n-X\|_p\to0\)。特别地,\(L^1\) 收敛要求平均绝对误差趋零,不能只看 \(\mathbb EX_n-\mathbb EX\) 是否趋零,因为正负误差可能抵消。

9.5.2 Hölder与Minkowski不等式

定理 9.5-1 Hölder不等式

若 \(1\leq p,q\leq\infty\)、\(1/p+1/q=1\)(约定 \(1/\infty=0\)),且 \(X\in L^p,Y\in L^q\),则

\[\mathbb E|XY|\leq\|X\|_p\|Y\|_q.\]
(9.5-2)
证明

先设 \(1<p,q<\infty\)。对 \(a,b\geq0\),函数 \(a\mapsto a^p/p-ab+b^q/q\) 在 \(a=b^{1/(p-1)}\) 处取得最小值零,故 Young 不等式 \(ab\leq a^p/p+b^q/q\) 成立。若两个范数非零,代入 \(a=|X|/\|X\|_p\)、\(b=|Y|/\|Y\|_q\) 后取期望,右侧成为 \(1/p+1/q=1\),即得结论。

若某个范数为零,对应变量几乎必然为零。端点 \(p=1,q=\infty\) 则由 \(|XY|\leq|X|\|Y\|_\infty\) 几乎必然成立后积分得到;交换两者处理另一端点。取 \(p=q=2\) 就是 Cauchy–Schwarz 不等式。

定理 9.5-2 Minkowski不等式

对 \(1\leq p\leq\infty\) 及 \(X,Y\in L^p\),

\[\|X+Y\|_p\leq\|X\|_p+\|Y\|_p.\]
(9.5-3)
证明

对 \(1<p<\infty\),先由凸性得到 \(|X+Y|^p\leq2^{p-1}(|X|^p+|Y|^p)\),所以 \(H=X+Y\in L^p\)。令 \(q=p/(p-1)\),两次使用 Hölder 得到

\[\begin{aligned} \|H\|_p^p&\leq\mathbb E\bigl[(|X|+|Y|)|H|^{p-1}\bigr]\\ &\leq(\|X\|_p+\|Y\|_p)\,\bigl\||H|^{p-1}\bigr\|_q\\ &=(\|X\|_p+\|Y\|_p)\|H\|_p^{p-1}. \end{aligned}\]
(9.5-4)

若 \(\|H\|_p>0\),两端除以其 \(p-1\) 次幂;若为零则结论直接成立。\(p=1\) 时积分逐点三角不等式,\(p=\infty\) 时取本质上确界即可。

这证明式 (9.5-1) 在等价类上确为范数。两项不等式在一般测度空间也成立;概率测度的归一化将在下面的包含关系中起作用。可对照 Durrett 第 1.5–1.6 节。

9.5.3 包含关系、严格性与完备性

在概率空间上,较高阶矩有限蕴含较低阶矩有限。具体地,

\[1\leq p\leq q\leq\infty \quad\Longrightarrow\quad L^q\subseteq L^p,\qquad \|X\|_p\leq\|X\|_q.\]
(9.5-5)

当 \(p<q<\infty\) 时,对 \(|X|^p\) 与常数一使用指数 \(q/p\) 及其共轭指数的 Hölder 不等式,得到 \(\mathbb E|X|^p\leq(\mathbb E|X|^q)^{p/q}\);常数因子为一来自 \(P(\Omega)=1\)。\(q=\infty\) 的情形由本质上界得到。一般无限测度空间不能直接套用这个包含方向。

例 9.5-1 可积性的临界指数

在均匀概率空间 \((0,1)\) 上令 \(X(t)=t^{-\alpha}\),其中 \(\alpha>0\)。直接计算 \(\mathbb E|X|^p=\int_0^1t^{-\alpha p}\,dt\):当 \(\alpha p<1\) 时等于 \(1/(1-\alpha p)\),当 \(\alpha p\geq1\) 时发散,临界等号对应对数发散。

例如 \(\alpha=1/3\) 时,\(X\in L^2\) 且 \(\|X\|_2=\sqrt3\),但 \(X\notin L^3\)。对 \(1\leq p<q\leq\infty\),取满足 \(1/q\leq\alpha<1/p\) 的正数,就得到 \(L^p\) 中不属于 \(L^q\) 的元素。因此包含关系通常严格,且 \(L^p\) 收敛只自动推出更低阶范数的收敛。

完备性。\(1\leq p\leq\infty\) 时 \(L^p\) 是 Banach 空间,即每个 Cauchy 列都在该范数下收敛到空间内的元素。对有限 \(p\),证明要点是从 Cauchy 列选出子列,使相邻差的范数至多 \(2^{-k}\)。Minkowski 与单调收敛给出这些差的绝对值之和属于 \(L^p\),故子列几乎必然收敛;余项范数由 \(\sum_{j\geq k}2^{-j}\) 控制,再由 Cauchy 性推广到原列。\(p=\infty\) 时,删去可数个异常零集的并后,同一构造给出一致收敛。这里仅给完备性的证明思路,后文主要使用已证的范数估计。

9.5.4 一致可积与一阶矩有界的区别

定义 9.5-2 一致可积

可积随机变量族 \(\mathcal X\) 称为一致可积(uniformly integrable,简称 UI),若

\[\lim_{K\to\infty}\sup_{X\in\mathcal X} \mathbb E\!\left[|X|\mathbf1_{\{|X|>K\}}\right]=0.\]
(9.5-6)

给定误差要求,必须先选出一个对全族都有效的阈值 \(K\)。单独每个 \(X\in L^1\) 的尾积分趋零,并不提供这个统一阈值。

UI 蕴含 \(L^1\) 有界:选择 \(K\) 使尾积分的上确界小于一,就有 \(\sup_{X\in\mathcal X}\mathbb E|X|\leq K+1\)。反向失败,原因是同样大小的一阶矩可以集中到越来越小的事件上。

例 9.5-2 面积不变的尖峰

在 \((0,1)\) 上取 \(X_n(t)=n\mathbf1_{(0,1/n)}(t)\)。对每个固定 \(t>0\),充分大的 \(n\) 使 \(X_n(t)=0\),但 \(\mathbb EX_n=\|X_n\|_1=1\)。对任意 \(K\),只要选 \(n>K\),便有 \(\mathbb E[X_n\mathbf1_{\{X_n>K\}}]=1\)。所以该族 \(L^1\) 有界却不 UI,也不在 \(L^1\) 中收敛到零。

更高阶矩为 \(\mathbb E|X_n|^p=n^{p-1}\),对每个 \(p>1\) 均发散。尖峰的概率趋零只控制它出现的频率;积分还要乘以它的高度。

一阶矩保持为一的尖峰函数 三个坐标图分别表示n等于2、4、8时的函数n乘以区间零到1除以n的指标。所有图横轴从0到1、纵轴从0到8,矩形面积都为1。 高度增加、支撑缩小,积分仍为一 n = 2n = 4n = 8 248 000 1/21/41/8 111 三个面板使用同一比例:横轴 0 到 1,纵轴 0 到 8
图 9.5-1 例 9.5-2 的精确矩形图。对任意固定的截断高度,总能找到更高的尖峰,其全部积分仍在阈值之外。

9.5.5 怎样验证一致可积

一种常用充分条件是高阶矩有界。若存在 \(1<p<\infty\) 使 \(C=\sup_{X\in\mathcal X}\mathbb E|X|^p<\infty\),则在 \(|X|>K\) 上有 \(|X|\leq K^{1-p}|X|^p\),因此

\[\sup_{X\in\mathcal X}\mathbb E[|X|\mathbf1_{\{|X|>K\}}] \leq C K^{1-p}\longrightarrow0.\]
(9.5-7)

统一的可积支配也是充分条件:若 \(|X|\leq Y\) 对全族中的每个变量都几乎必然成立且 \(Y\in L^1\),尾积分至多为 \(\mathbb E[Y\mathbf1_{\{Y>K\}}]\),由控制收敛趋零。这也覆盖 \(L^\infty\) 范数统一有界的情形。两个判据都不要求变量独立。

定理 9.5-3 小概率事件上的统一控制

\(\mathcal X\) 一致可积,当且仅当它 \(L^1\) 有界并且具有如下统一绝对连续性:

\[\forall\varepsilon>0\ \exists\delta>0:\quad P(A)<\delta\ \Longrightarrow\ \sup_{X\in\mathcal X}\mathbb E[|X|\mathbf1_A]<\varepsilon.\]
(9.5-8)
证明

UI 时,\(\mathbb E[|X|\mathbf1_A]\leq K P(A)+\mathbb E[|X|\mathbf1_{\{|X|>K\}}]\)。先取 \(K\) 统一控制第二项,再取 \(\delta\) 控制第一项。反之,设一阶矩上界为 \(C\),Markov 不等式给出 \(P(|X|>K)\leq C/K\)。在式 (9.5-8) 中取 \(A=\{|X|>K\}\),选 \(K>C/\delta\) 就统一控制了全族的尾积分。

例 9.5-3 降低尖峰的高度

令 \(Y_n(t)=\sqrt n\,\mathbf1_{(0,1/n)}(t)\)。此时 \(\mathbb E|Y_n|^2=1\),所以全族 UI。直接算也有 \(\mathbb E[|Y_n|\mathbf1_{\{|Y_n|>K\}}]=n^{-1/2}\mathbf1_{\{\sqrt n>K\}}\leq1/K\)。另一方面 \(\|Y_n\|_1=n^{-1/2}\to0\),但 \(\|Y_n\|_2=1\)。高阶矩有界提供尾部控制,并不等于该高阶范数收敛。

这些 UI 判据及其概率解释可对照 MIT 讲义 19,第 2 部分。

9.5.6 Vitali定理:从依概率到L1

先明确本节所需的收敛方式:\(X_n\to X\) 依概率收敛(convergence in probability),指每个 \(\eta>0\) 都有 \(P(|X_n-X|>\eta)\to0\)。它允许小概率事件上出现大误差。各种收敛方式的进一步比较见 10.1 节。

定理 9.5-4 Vitali收敛定理(概率空间版本)

设 \(X_n\in L^1\),\(X\) 是实值可测随机变量。则

\[X_n\xrightarrow{L^1}X \quad\Longleftrightarrow\quad X_n\xrightarrow{P}X\ \text{且}\ \{X_n:n\geq1\}\text{ 一致可积}.\]
(9.5-9)

右侧条件还会自动保证 \(X\in L^1\)。

完整证明

充分性。对 \(K>0\),令 \(T_K(x)=\max(-K,\min(x,K))\)。它是有界的 1-Lipschitz 函数,因此对任意 \(\eta>0\),

\[\mathbb E|T_K(X_n)-T_K(X)| \leq\eta+2K P(|X_n-X|>\eta).\]
(9.5-10)

先令 \(n\to\infty\),再令 \(\eta\downarrow0\),得截断后 \(L^1\) 收敛。UI 给出 \(C=\sup_n\mathbb E|X_n|<\infty\),故 \(\mathbb E|T_K(X)|=\lim_n\mathbb E|T_K(X_n)|\leq C\)。令 \(K\uparrow\infty\),单调收敛得 \(\mathbb E|X|\leq C\)。

将误差分成三个可积部分:

\[\begin{aligned} \mathbb E|X_n-X| &\leq\mathbb E[|X_n|\mathbf1_{\{|X_n|>K\}}]\\ &\quad+\mathbb E|T_K(X_n)-T_K(X)| +\mathbb E[|X|\mathbf1_{\{|X|>K\}}]. \end{aligned}\]
(9.5-11)

第一项由 UI 统一控制,第三项由 \(X\) 可积控制。先选足够大的 \(K\) 使它们都小,再对这个固定的 \(K\) 令 \(n\to\infty\) 消去中间项,得到所需收敛。

必要性。若 \(\mathbb E|X_n-X|\to0\),由 \(|X|\leq|X-X_n|+|X_n|\) 可知 \(X\in L^1\)。Markov 不等式给出依概率收敛,三角不等式给出全列 \(L^1\) 有界。对任意事件 \(A\),\(\mathbb E[|X_n|\mathbf1_A]\leq\mathbb E[|X|\mathbf1_A]+\mathbb E|X_n-X|\)。先用第二项控制充分大的 \(n\),再用单个可积变量的积分绝对连续性,统一控制 \(X\) 和余下有限多个 \(X_n\) 在小概率事件上的积分。定理 9.5-3 随即给出 UI。

截断保留中间部分并限制两侧大值 取阈值K等于1。虚线为恒等函数,实线在负一到一之间等于恒等函数,左侧固定为负一,右侧固定为一。两侧阴影标示被截去的误差。 截断法:先控制尾部,再处理固定的有界区间 −11 0x 1−1 左尾被截断右尾被截断 截断后的值 图中阈值为 1;证明中先固定阈值,再令样本序号趋于无穷
图 9.5-2 截断函数 \(T_1\) 的精确分段图。两侧阴影表示逐点误差 \(|x-T_1(x)|\) 的位置,尾部期望仍须由 UI 和可积性估计,不能由图形面积替代。

由 \(|\mathbb EX_n-\mathbb EX|\leq\mathbb E|X_n-X|\),Vitali 还保证期望收敛。控制收敛定理是其中一个应用:可积支配提供 UI,几乎必然收敛提供依概率收敛。这里的概率空间条件不能忽略;无限测度上的尾部条件还不能阻止积分质量分散到越来越大的区域,见习题 9.5-4。Vitali 的等价表述见 Durrett 定理 4.6.3。

9.5.7 练习与解答

习题 9.5-1 为什么要求范数指数至少为一

取 \(P(A)=1/2\),令 \(X=\mathbf1_A\)、\(Y=\mathbf1_{A^c}\)。计算形式上的量 \(\|Z\|_r=(\mathbb E|Z|^r)^{1/r}\) 在 \(0<r<1\) 时的三角不等式两端,并说明失败原因。

解

\(\|X\|_r=\|Y\|_r=2^{-1/r}\),而 \(X+Y=1\),故 \(\|X+Y\|_r=1\)。因为 \(1-1/r<0\),有 \(\|X\|_r+\|Y\|_r=2^{1-1/r}<1\)。所以这一表达式在该范围不满足范数的三角不等式;本节的 \(L^p\) 范数结论不能直接延伸到这里。

习题 9.5-2 高阶矩有界可以提升到哪种收敛

设 \(p>1\),\(\sup_n\mathbb E|X_n|^p\leq C\),且 \(X_n\to X\) 依概率。证明 \(X\in L^p\),并证明对每个 \(1\leq q<p\),\(X_n\to X\) 在 \(L^q\) 中成立。能否令 \(q=p\)?

解

对每个 \(M\),函数 \(h_M(x)=\min(|x|^p,M)\) 有界且 Lipschitz,故与式 (9.5-10) 相同的估计给出 \(\mathbb Eh_M(X)=\lim_n\mathbb Eh_M(X_n)\leq C\)。单调收敛令 \(M\to\infty\),得 \(\mathbb E|X|^p\leq C\)。

令 \(Z_n=|X_n-X|^q\),则 \(Z_n\to0\) 依概率,且 \(\sup_n\mathbb E Z_n^{p/q}\leq2^{p-1}\sup_n(\mathbb E|X_n|^p+\mathbb E|X|^p)\leq2^pC\)。因为 \(p/q>1\),该族 UI;Vitali 给出 \(\mathbb EZ_n\to0\),即 \(L^q\) 收敛。不能一般取 \(q=p\):在 \((0,1)\) 上的 \(X_n=n^{1/p}\mathbf1_{(0,1/n)}\) 依概率趋零,却始终满足 \(\|X_n\|_p=1\)。

习题 9.5-3 UI不必来自任何高阶矩

定义非负离散变量 \(Z\):\(P(Z=2^k)=1/(k^2 2^k)\)(\(k\geq1\)),余下概率放在零点。证明常值序列 \(X_n=Z\) 一致可积,但对每个 \(p>1\) 都有 \(\mathbb E|Z|^p=\infty\)。

解

\(\sum_k1/(k^2 2^k)<\sum_k2^{-k}=1\),所以概率定义成立。\(\mathbb EZ=\sum_k1/k^2<\infty\),故 \(\mathbb E[Z\mathbf1_{\{Z>K\}}]\to0\),并且全序列的尾积分上确界就是这一项,因而 UI。另一方面,\(\mathbb EZ^p=\sum_k2^{(p-1)k}/k^2\),其通项不趋零,级数发散。这说明高阶矩判据是充分条件,不是必要条件。

习题 9.5-4 无限测度上的遗漏条件

改在 \((0,\infty)\) 的勒贝格测度上,令 \(f_n(t)=n^{-1}\mathbf1_{(0,n)}(t)\)。检查一致可积的尾积分条件、依测度收敛和 \(L^1\) 收敛,说明为何本节的 Vitali 版本不能原样移用。

解

所有 \(f_n\leq1\),故 \(K\geq1\) 时,\(\sup_n\int|f_n|\mathbf1_{\{|f_n|>K\}}\,dt=0\)。对每个 \(\eta>0\),当 \(n>1/\eta\) 时,集合 \(\{|f_n|>\eta\}\) 为空,所以依测度趋零,甚至一致趋零。但 \(\|f_n\|_1=(1/n)n=1\),并不 \(L^1\) 收敛。概率空间中“误差至多 \(\eta\)”的部分积分至多 \(\eta\);无限测度时没有这个统一有限因子,还需要控制积分在空间远处的分散。

关键术语

  • 几乎处处等价类:把只在零测集上不同的可测函数归为同一元素。
  • \(L^p\) 范数:由绝对值的 \(p\) 阶矩定义的大小,\(p=\infty\) 时用本质上确界。
  • 共轭指数:满足 \(1/p+1/q=1\) 的一对指数。
  • Hölder不等式:用两个共轭范数控制乘积的积分。
  • Minkowski不等式:\(L^p\) 范数的三角不等式。
  • 一致可积:整个函数族在大值区域的尾积分统一趋零。
  • 统一绝对连续性:小概率事件上的积分对全族一致小。
  • Vitali收敛定理:依概率收敛与一致可积共同刻画 \(L^1\) 收敛。

参考文献与延伸阅读

  1. Durrett, R. (2019). Probability: Theory and Examples, 5th ed.,作者版本。第 1.5–1.6 节的范数不等式;第 4.6 节的一致可积与 \(L^1\) 收敛,尤其定理 4.6.2–4.6.3。
  2. Polyanskiy, Y. (2018). MIT 6.436J,Lecture 19: Uniform Integrability; Convergence of Series。前两部分的 \(L^1\) 空间、UI 判据及收敛等价定理。