- 写出协方差(covariance)的定义与等价计算式,并能运用其对称性与双线性(bilinearity)化简计算;
- 推导并牢记"随机变量之和的方差"公式,说明独立(不相关)时方差可以相加的条件;
- 构造并解释"Cov = 0 但不独立"的反例 \(X\sim N(0,1),\ Y=X^2\),准确辨析"不相关"与"独立";
- 证明 \(|\rho|\le 1\) 及取等与线性关系的等价性,理解相关系数(correlation coefficient)只度量线性相依;
- 推导样本均值(sample mean)的方差 \(\mathrm{Var}(\bar X)=\sigma^2/n\),并运用于组合风险与测量精度两类计算。
1. 协方差:定义与基本性质
在 7.2 节我们看到,期望的线性性 \(\ E[\sum_i X_i]=\sum_i E[X_i]\) 无须任何独立性条件。方差则没有这般好运:一般而言 \(\mathrm{Var}(X+Y)\ne \mathrm{Var}(X)+\mathrm{Var}(Y)\),差别恰恰在于两个随机变量是否"同向变动"——\(X\) 高于平均水平时 \(Y\) 是否也倾向于偏高?度量这种联动的量就是协方差(covariance)。直观上,身高与体重的协方差为正(同增),而一种资产的多头与空头的协方差为负(此消彼长)。
设随机变量 \(X\) 与 \(Y\) 的期望都存在。若下式中的期望有意义,则称 \[ \mathrm{Cov}(X,Y) = E\big[(X-E[X])(Y-E[Y])\big] \] 为 \(X\) 与 \(Y\) 的协方差。等价地(由期望的线性性展开), \[ \mathrm{Cov}(X,Y)=E[XY]-E[X]\,E[Y]. \]
两种形式各有用处:定义式便于直观理解——偏差 \((X-E[X])\) 与 \((Y-E[Y])\) 同号为正贡献、异号为负贡献;计算式则把求 \(\mathrm{Cov}\) 化为求三个期望 \(E[XY], E[X], E[Y]\),通常最为顺手。若 \(\mathrm{Cov}(X,Y)=0\),则称 \(X\) 与 \(Y\) 不相关(uncorrelated)。
对任意使各式有意义的随机变量与常数 \(a,b,c,d\):
- (对称性)\(\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)\);
- (退化情形)\(\mathrm{Cov}(X,X)=\mathrm{Var}(X)\),且 \(\mathrm{Cov}(X,c)=0\)——与常数无联动可言;
- (平移不变)\(\mathrm{Cov}(X+a,\,Y+b)=\mathrm{Cov}(X,Y)\);
- (双线性)\(\mathrm{Cov}(aX+bY,\ cZ+dW)=ac\,\mathrm{Cov}(X,Z)+ad\,\mathrm{Cov}(X,W)+bc\,\mathrm{Cov}(Y,Z)+bd\,\mathrm{Cov}(Y,W)\),即对每个变量都是线性的。
掷两颗独立的骰子,点数分别记为 \(X_1, X_2\)。求 \(\mathrm{Cov}(X_1,X_2)\) 与 \(\mathrm{Var}(X_1+X_2)\)。
2. 随机变量之和的方差
把定理 1 的双线性当作杠杆,"和的方差"公式几乎是一行推论——这正是先研究协方差的主要原因。
设 \(X_1,\dots,X_n\) 的方差都存在,则 \[ \mathrm{Var}\Big(\sum_{i=1}^n X_i\Big)=\sum_{i=1}^n \mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j). \] 特别地,\(n=2\) 时 \(\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\,\mathrm{Cov}(X,Y)\),而 \(\mathrm{Var}(X-Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)-2\,\mathrm{Cov}(X,Y)\)。
若 \(X_1,\dots,X_n\) 两两不相关——即一切 \(i\ne j\) 有 \(\mathrm{Cov}(X_i,X_j)=0\)(相互独立是充分条件,证明见练习 2),则 \[ \mathrm{Var}\Big(\sum_{i=1}^n X_i\Big)=\sum_{i=1}^n\mathrm{Var}(X_i). \]
对比 7.2 节:期望相加无条件成立,方差相加需要两两不相关——这就是独立性在"求和"问题中真正买到的东西。
下面的警示必须牢记:"不相关"远弱于"独立"。协方差只捕捉"同增同减"式的线性联动;当依赖关系"先降后升"或呈其他对称形态时,正负贡献可能恰好抵消,使协方差为零。
存在不相关但强相依的随机变量:取 \(X\sim N(0,1)\),令 \(Y=X^2\),则 \(\mathrm{Cov}(X,Y)=0\),但 \(Y\) 完全由 \(X\) 决定,二者绝非独立。
事实上,任何关于原点对称的分布(如 \(X\sim U(-1,1)\))配 \(Y=X^2\) 都有同样现象。反过来,独立必不相关(练习 2);唯一的重要例外是二元正态情形——那里"不相关"与"独立"等价,详见 7.7 节。
3. 相关系数:线性关联的标准化度量
协方差带有量纲(两个变量单位的乘积),大小无法跨问题比较:把身高从厘米换成米,协方差就被除以 100。除以两个标准差便得到无量纲的相关系数(correlation coefficient)。
设 \(\sigma_X=\sqrt{\mathrm{Var}(X)}>0\),\(\sigma_Y=\sqrt{\mathrm{Var}(Y)}>0\),称 \[ \rho(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sigma_X\,\sigma_Y} \] 为 \(X\) 与 \(Y\) 的相关系数。它是不依赖于变量单位与原点选取的纯数。
(i)恒有 \(-1\le \rho(X,Y)\le 1\);(ii)\(\rho=1\) 当且仅当存在常数 \(a>0,\,b\) 使 \(Y=aX+b\) 以概率 1 成立;\(\rho=-1\) 当且仅当存在 \(a<0,\,b\) 使 \(Y=aX+b\) 以概率 1 成立。
因此 \(\rho\) 是线性相依强度的刻度:\(|\rho|\) 越接近 1,散点越贴近某条直线;\(\rho\) 的符号给出直线的方向。而 \(\rho\) 接近 0 只说明"没有线性趋势",不说明没有关系——定理 3 中 \(X\) 与 \(X^2\) 的 \(\rho=0\),依赖却百分百存在。
掷一颗骰子,\(X\) 为点数,\(Y=7-X\)。求 \(\rho(X,Y)\)。
还应强调:\(\rho^2\) 有明确的预测含义——用最优直线 \(aX+b\) 预测 \(Y\) 时,残差方差为 \(\sigma_Y^2(1-\rho^2)\),即 \(\rho^2\) 是"线性预测可解释"的方差比例。这一事实将在 7.5 节(条件期望与预测)中严格展开;届时也会看到,线性预测一般劣于条件期望 \(E[Y\,|\,X]\),只有二元正态时二者恰好一致。
4. 两个应用:组合分散化与样本均值
定理 2 是"分散化"(diversification) 的数学引擎:只要协方差项之和为负,组合的风险就低于各成分风险的叠加。金融中的证券组合(portfolio)选择是其最著名的应用。
两种资产的收益率分别为 \(R_A,\ R_B\),波动率 \(\sigma_A=\sigma_B=10\%\),相关系数 \(\rho(R_A,R_B)=-0.5\)。考虑等权组合 \(R_P=\frac12 R_A+\frac12 R_B\),求组合波动率 \(\sigma_P\);再求一般权重 \(w\) 下组合方差的最小值。
一般地取权重 \(w\)(投向 \(A\)),\(1-w\) 投向 \(B\): \[ \sigma_P^2(w)=w^2\sigma_A^2+(1-w)^2\sigma_B^2+2w(1-w)\rho\,\sigma_A\sigma_B =100\big(3w^2-3w+1\big). \] 对 \(w\) 求导:\(\frac{\mathrm{d}\sigma_P^2}{\mathrm{d}w}=100(6w-3)=0\) 给出最小方差组合(minimum-variance portfolio)的权重 \[ w^{*}=\frac12, \] (两资产 \(\sigma\) 相等,故等权即最优),最小方差 \(100(3/4-3/2+1)=25\,%^2\),即 \(\sigma_P=5\%\),与等权计算一致。对照:若 \(\rho=+0.5\),则 \(\sigma_P^2(w)=100(w^2-w+1)\ge 75\,%^2\),最优也有 \(\sigma_P\approx 8.66\%\);若 \(\rho=-1\),取 \(w^{*}=\frac12\) 可使 \(\sigma_P=0\)——完全对冲(perfect hedge)。相关系数越负,分散化红利越大。
第二个应用是统计学的基石。设 \(X_1,\dots,X_n\) 独立同分布(i.i.d.),均值 \(\mu\)、方差 \(\sigma^2\),样本均值(sample mean) \(\bar X=\frac{1}{n}\sum_{i=1}^n X_i\)。我们在 7.2 节已知 \(E[\bar X]=\mu\);其方差可由推论 1 立刻得到。
若 \(X_1,\dots,X_n\) 独立同分布,\(\mathrm{Var}(X_i)=\sigma^2\),则 \[ \mathrm{Var}(\bar X)=\frac{\sigma^2}{n}, \qquad \sigma_{\bar X}=\frac{\sigma}{\sqrt{n}}. \]
这给出了著名的"\(\sqrt n\) 法则":平均的精度(标准差)按 \(\sqrt n\) 的速度提升,它正是第 8 章大数定律的方差版本——\(\mathrm{Var}(\bar X)\to 0\) 说明 \(\bar X\) 依概率收敛于 \(\mu\)。
对某物理量独立重复测量 \(100\) 次,每次测量的标准差为 \(\sigma=1\)(单位同被测量)。求 \(100\) 次平均值的方差与标准差;若想把平均的标准差再降到 \(0.01\),需要多少次测量?
"相关"(correlation)一词由高尔顿(Francis Galton)在 1888 年前后研究豌豆尺寸与亲子身高的遗传数据时提出,"回归"(regression)同样源于他的发现——极端父母的子女会"向平均回归";皮尔逊(Karl Pearson)随后给出了矩表达式的标准化形式。例 3 与图 2 的组合分析则直接来自马科维茨(H. Markowitz)1952 年的均值—方差组合理论(1990 年诺贝尔经济学奖),本节公式正是其最简版本。最后必须牢记:相关不等于因果——冰淇淋销量与溺水人数显著正相关,共同原因却是气温。\(\rho\) 只刻画统计上的线性共变,从不言明机制。
5. 本节小结
- \(\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\);对称、双线性、加常数不变,\(\mathrm{Cov}(X,X)=\mathrm{Var}(X)\)。
- \(\mathrm{Var}(\sum_i X_i)=\sum_i\mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\);两两不相关(特别地独立)时方差相加。
- 不相关 \(\ne\) 独立:\(X\sim N(0,1),\ Y=X^2\) 有 \(\mathrm{Cov}=0\)(因 \(E[X^3]=0\)),但 \(Y\) 完全由 \(X\) 决定。
- \(\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\),\(|\rho|\le 1\);\(|\rho|=1\) 当且仅当几乎必然的线性关系;\(\rho\) 只度量线性相依。
- 两骰独立:\(\mathrm{Cov}=0\),\(\mathrm{Var}(X_1+X_2)=35/6+35/6=35/3\);完全负线性 \(Y=7-X\):\(\rho=-1\),\(\mathrm{Var}(X+Y)=0\)。
- 应用:\(\rho=-0.5\) 的等权两资产组合 \(\sigma=5\%\)(最小方差权重 \(w^{*}=0.5\));i.i.d. 样本 \(\mathrm{Var}(\bar X)=\sigma^2/n\),标准差按 \(\sqrt n\) 收缩。
| 对象 | 公式 | 关键性质 / 条件 |
|---|---|---|
| 协方差 | \(\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]\) | 对称、双线性;独立 ⇒ \(\mathrm{Cov}=0\)(逆不真) |
| 和的方差 | \(\mathrm{Var}(\sum_i X_i)=\sum_i \mathrm{Var}(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j)\) | 两两不相关时退化为方差相加 |
| 相关系数 | \(\rho=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\) | \(-1\le\rho\le1\);\(|\rho|=1\)\(\iff\)几乎必然线性;只测线性 |
| 样本均值方差 | \(\mathrm{Var}(\bar X)=\sigma^2/n\) | i.i.d. 前提;标准差 \(\sigma/\sqrt n\)(\(\sqrt n\) 法则) |
练习
练习 7-3-1
由矩求协方差与线性组合的方差:设 \(E[X]=1\),\(E[Y]=2\),\(E[X^2]=4\),\(E[Y^2]=9\),\(E[XY]=0.5\)。求 \(\mathrm{Cov}(X,Y)\)、\(\rho(X,Y)\) 与 \(\mathrm{Var}(2X-3Y)\)。
答案与提示\(\mathrm{Var}(X)=4-1=3\),\(\mathrm{Var}(Y)=9-4=5\),\(\mathrm{Cov}(X,Y)=0.5-1\cdot2=-1.5\);\(\rho=-1.5/\sqrt{15}\approx-0.39\)。由双线性(或定理 2 的推广):\(\mathrm{Var}(2X-3Y)=4\cdot3+9\cdot5+2\cdot2\cdot(-3)\cdot(-1.5)=12+45+18=75\)。注意协方差为负使"差方向"的组合方差更大、和方向更小。
练习 7-3-2
证明:若 \(X\) 与 \(Y\) 相互独立且方差有限,则 \(\mathrm{Cov}(X,Y)=0\)。逆命题是否成立?
答案与提示独立时乘积期望等于期望之积 \(E[XY]=E[X]E[Y]\)(见第 6 章独立性一节),代入定义式立得 \(\mathrm{Cov}(X,Y)=0\)。逆命题不成立:定理 3 的反例 \(X\sim N(0,1),\ Y=X^2\) 不相关却强相依;但在二元正态情形下"不相关"与"独立"等价(7.7 节),这是正态分布的特殊品格。
练习 7-3-3
等相关的均值:设 \(X_1,\dots,X_n\) 满足 \(\mathrm{Var}(X_i)=\sigma^2\),且任意 \(i\ne j\) 有 \(\mathrm{Corr}(X_i,X_j)=\rho\)。证明 \(\mathrm{Var}(\bar X)=\dfrac{\sigma^2\big(1+(n-1)\rho\big)}{n}\),并说明 \(\rho\ge -\dfrac{1}{n-1}\);取 \(\sigma^2=1,\ \rho=0.25,\ n=100\) 时 \(\mathrm{Var}(\bar X)\) 是多少?
答案与提示\(\mathrm{Cov}(X_i,X_j)=\rho\sigma^2\),共 \(\binom n2=n(n-1)/2\) 对。由定理 2: \[ \mathrm{Var}\Big(\sum_i X_i\Big)=n\sigma^2+2\cdot\frac{n(n-1)}{2}\rho\sigma^2=n\sigma^2\big(1+(n-1)\rho\big), \] 除以 \(n^2\) 即得结论。由 \(\mathrm{Var}(\bar X)\ge0\) 且 \(n\ge2\) 得 \(\rho\ge-1/(n-1)\)(\(n\) 个变量不可能两两达到 \(-1\) 的完全负相关)。数值:\(\mathrm{Var}(\bar X)=\frac{1+99\times0.25}{100}=\frac{25.75}{100}=0.2575\),是独立情形 \(0.01\) 的 25 倍多——"共同冲击"(common shock)使平均的方差不再按 \(1/n\) 收缩,这正是定理 5 需要独立(或至少两两不相关)的原因。
练习 7-3-4
用双线性证明 \(\mathrm{Cov}(X+Y,\ X-Y)=\mathrm{Var}(X)-\mathrm{Var}(Y)\);由此说明当 \(\mathrm{Var}(X)=\mathrm{Var}(Y)\) 时 \(X+Y\) 与 \(X-Y\) 不相关。它们一定独立吗?
答案与提示由双线性展开 \(\mathrm{Cov}(X+Y,X)-\mathrm{Cov}(X+Y,Y)=\big[\mathrm{Var}(X)+\mathrm{Cov}(Y,X)\big]-\big[\mathrm{Cov}(X,Y)+\mathrm{Var}(Y)\big]=\mathrm{Var}(X)-\mathrm{Var}(Y)\)。方差相等时协方差为零,故不相关;但由定理 3 的警示,不相关一般推不出独立——不过可以证明当 \((X,Y)\) 为二元正态时它们确实独立(7.7 节),这一"和与差独立"的性质是正态独有的招牌。