本章沿用 6.A 的约定:\(\mathbf F\) 表示 \(\mathbf R\) 或 \(\mathbf C\),\(V\) 与 \(W\) 为 \(\mathbf F\) 上的内积空间;内积对第一个变元线性、对第二个变元共轭线性,范数 \(\|v\|=\sqrt{\langle v,v\rangle}\)。勾股定理(6.12)将反复使用。
标准正交组:定义、范数公式与线性无关
在 6.A 中,两个向量 \(u,v\in V\) 称为正交的 (orthogonal),如果 \(\langle u,v\rangle=0\)。现在我们把"两两垂直、且长度都为一"的向量组提炼成内积空间中最重要的组合对象。
定义 6.22(标准正交,orthonormal) 称向量组 \(e_1,\dots,e_m\in V\) 为标准正交组 (orthonormal list),如果组中每个向量的范数均为 \(1\),且与组中其余向量都正交。等价地,
\[ \langle e_j,e_k\rangle=\begin{cases}1, & j=k,\\ 0, & j\ne k,\end{cases}\qquad j,k\in\{1,\dots,m\}. \]例 1(\(\mathbf F^3\) 中的标准正交组;原书 6.23)。\(\mathbf F^n\) 的标准基显然是标准正交组。再看 \(\mathbf F^3\) 中的三个向量
\[ e_1=\Bigl(\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3}\Bigr),\qquad e_2=\Bigl(-\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2},0\Bigr),\qquad e_3=\Bigl(\tfrac{1}{\sqrt6},\tfrac{1}{\sqrt6},-\tfrac{2}{\sqrt6}\Bigr). \]逐项验证:\(\|e_1\|^2=\frac13+\frac13+\frac13=1\),同理 \(\|e_2\|=\|e_3\|=1\);而
\[ \langle e_1,e_2\rangle=-\tfrac{1}{\sqrt6}+\tfrac{1}{\sqrt6}+0=0,\qquad \langle e_1,e_3\rangle=\tfrac{1}{\sqrt{18}}+\tfrac{1}{\sqrt{18}}-\tfrac{2}{\sqrt{18}}=0,\qquad \langle e_2,e_3\rangle=-\tfrac{1}{\sqrt{12}}+\tfrac{1}{\sqrt{12}}+0=0. \]故 \(e_1,e_2,e_3\) 是标准正交组。类似地,在 \(C[-\pi,\pi]\) 上以内积 \(\langle f,g\rangle=\int_{-\pi}^{\pi}fg\) 可以验证 \(\frac{1}{\sqrt{2\pi}},\frac{\cos x}{\sqrt\pi},\frac{\sin x}{\sqrt\pi},\dots\) 是标准正交组——它正是傅里叶分析用于建模潮汐等周期现象的函数系(原书 6.23(d))。
标准正交组的威力首先体现在范数的计算上:勾股定理把"分量的平方"直接加起来。
命题 6.24(标准正交线性组合的范数) 设 \(e_1,\dots,e_m\) 是 \(V\) 中的标准正交组,则对任意 \(a_1,\dots,a_m\in\mathbf F\),
\[ \Bigl\|\,a_1e_1+\cdots+a_me_m\,\Bigr\|^2=|a_1|^2+\cdots+|a_m|^2. \]利用内积对第一变元的线性与对第二变元的共轭线性直接展开:
\[ \Bigl\|\sum_{k=1}^{m}a_ke_k\Bigr\|^2 =\Bigl\langle\sum_{i=1}^{m}a_ie_i,\ \sum_{j=1}^{m}a_je_j\Bigr\rangle =\sum_{i=1}^{m}\sum_{j=1}^{m}a_i\overline{a_j}\,\langle e_i,e_j\rangle =\sum_{k=1}^{m}a_k\overline{a_k} =\sum_{k=1}^{m}|a_k|^2, \]其中最后第二步是因为仅当 \(i=j\) 时 \(\langle e_i,e_j\rangle=1\),其余交叉项全为零。这正是勾股定理的代数形式。证毕。
引理 6.25(标准正交组线性无关) 每个标准正交组都线性无关。
设 \(e_1,\dots,e_m\) 标准正交,且 \(a_1e_1+\cdots+a_me_m=0\)。对该零向量应用 6.24,得
\[ |a_1|^2+\cdots+|a_m|^2=\|0\|^2=0, \]于是每个 \(a_k=0\)。故组线性无关。证毕。
这条引理的证明只有一行,却立刻把"几何性质(垂直、单位长)"转化为"代数性质(无关性)"。它的第一个推论是下面这条重要不等式。
定理 6.26(贝塞尔不等式,Bessel's Inequality) 设 \(e_1,\dots,e_m\) 是 \(V\) 中的标准正交组。则对每个 \(v\in V\),
\[ \bigl|\langle v,e_1\rangle\bigr|^2+\cdots+\bigl|\langle v,e_m\rangle\bigr|^2\le\|v\|^2. \]设 \(v\in V\),令
\[ u=\langle v,e_1\rangle e_1+\cdots+\langle v,e_m\rangle e_m,\qquad w=v-u. \]对每个 \(j\in\{1,\dots,m\}\),
\[ \langle w,e_j\rangle=\langle v,e_j\rangle-\langle v,e_j\rangle\langle e_j,e_j\rangle=0, \]故 \(w\) 与 \(u\) 的每个生成元正交,从而 \(\langle w,u\rangle=0\)。由勾股定理与 6.24,
\[ \|v\|^2=\|u\|^2+\|w\|^2\ \ge\ \|u\|^2=\bigl|\langle v,e_1\rangle\bigr|^2+\cdots+\bigl|\langle v,e_m\rangle\bigr|^2. \]证毕。
直观地说,\(u\) 是 \(v\) "投影"到子空间 \(\operatorname{span}(e_1,\dots,e_m)\) 上的部分,而 \(w=v-u\) 是剩余的"垂直分量";贝塞尔不等式说的不过是"整体长度不小于投影长度"。当 \(e_1,\dots,e_m\) 恰好张成全空间时,垂直分量为零,不等式取等——这正是下面两节的主线。
标准正交基
定义 6.27(标准正交基,orthonormal basis) \(V\) 的一个标准正交基是指:既是标准正交组、又是 \(V\) 的基的向量组。
例如,\(\mathbf F^n\) 的标准基就是一个标准正交基。由引理 6.25,要验证一个标准正交组是基,只需数一数长度。
命题 6.28(长度合适的标准正交组即标准正交基) 设 \(V\) 有限维,则 \(V\) 中每个长度为 \(\dim V\) 的标准正交组都是 \(V\) 的标准正交基。
由 6.25,标准正交组线性无关;而长度等于 \(\dim V\) 的线性无关组必为基(第 2 章线性无关组长度定理 2.38)。证毕。
例 2(\(\mathbf F^4\) 的一个非常规标准正交基;原书 6.29)。断言:
\[ \Bigl(\tfrac12,\tfrac12,\tfrac12,\tfrac12\Bigr),\quad \Bigl(\tfrac12,\tfrac12,-\tfrac12,-\tfrac12\Bigr),\quad \Bigl(\tfrac12,-\tfrac12,-\tfrac12,\tfrac12\Bigr),\quad \Bigl(-\tfrac12,\tfrac12,-\tfrac12,\tfrac12\Bigr) \]是 \(\mathbf F^4\) 的标准正交基。验证范数:
\[ \Bigl\|\Bigl(\tfrac12,\tfrac12,\tfrac12,\tfrac12\Bigr)\Bigr\|=\sqrt{4\cdot\tfrac14}=1, \]其余三个向量同理。再验证正交性,例如
\[ \Bigl\langle\Bigl(\tfrac12,\tfrac12,\tfrac12,\tfrac12\Bigr),\Bigl(\tfrac12,\tfrac12,-\tfrac12,-\tfrac12\Bigr)\Bigr\rangle =\tfrac14+\tfrac14-\tfrac14-\tfrac14=0, \]任意两个不同向量的内积同理为零。于是这是一个长度为 \(4=\dim\mathbf F^4\) 的标准正交组,由 6.28 即为标准正交基。(以这四个向量为列的矩阵,相当于把符号矩阵 \(\pm1\) 除以 \(2\),它属于阿达马 (Hadamard) 型矩阵。)
格拉姆–施密特程序
标准正交基如此好用,但它存在吗?如何求?例如,把 \(\mathcal P_2(\mathbf R)\) 配上内积
\[ \langle p,q\rangle=\int_{-1}^{1}p(x)q(x)\,dx \]之后,标准基 \(1,x,x^2\) 并不是标准正交基:
例 3(\(1,x,x^2\) 不是标准正交组;原书 6.23(e))。\(\|1\|^2=\int_{-1}^{1}1\,dx=2\ne1\),故长度不对;\(\langle x,1\rangle=\int_{-1}^{1}t\,dt=0\) 固然垂直,但 \(\langle x^2,1\rangle=\int_{-1}^{1}t^2\,dt=\tfrac23\ne0\)。即使把每个向量除以自身范数得 \(\tfrac{1}{\sqrt2},\ \tfrac{\sqrt3}{\sqrt2}x,\ \tfrac{\sqrt5}{2}x^2\),第一与第三个向量仍不正交。可见"逐个单位化"并不能制造正交性——我们需要一个真正制造垂直的程序。
几何想法非常朴素:给定已造好的标准正交方向 \(e_1,\dots,e_{k-1}\),从新向量 \(v_k\) 中减去它在这些方向上的全部投影分量\(\langle v_k,e_j\rangle e_j\),剩下的向量便与所有旧方向垂直;再单位化得到 \(e_k\)。下图在 \(\mathbf R^2\) 中展示了一步完整的过程。
定理 6.32(格拉姆–施密特程序,Gram–Schmidt Procedure) 设 \(v_1,\dots,v_m\) 是 \(V\) 中线性无关的向量组。令 \(f_1=v_1\);对 \(k=2,\dots,m\),归纳定义
\[ f_k \;=\; v_k-\frac{\langle v_k,f_1\rangle}{\|f_1\|^2}f_1-\cdots-\frac{\langle v_k,f_{k-1}\rangle}{\|f_{k-1}\|^2}f_{k-1}, \]并对每个 \(k=1,\dots,m\),令 \(e_k=f_k/\|f_k\|\)。则 \(e_1,\dots,e_m\) 是标准正交组,且对每个 \(k\) 都有
\[ \operatorname{span}(v_1,\dots,v_k)=\operatorname{span}(e_1,\dots,e_k). \]对 \(k\) 归纳。\(k=1\) 时,\(e_1=f_1/\|f_1\|=v_1/\|v_1\|\)(由线性无关性 \(v_1\ne0\),故除法合法),由范数的齐次性 6.9(b) 得 \(\|e_1\|=1\),且 \(\operatorname{span}(v_1)=\operatorname{span}(e_1)\)。
设 \(1<k\le m\),且已得标准正交组 \(e_1,\dots,e_{k-1}\) 满足 \(\operatorname{span}(v_1,\dots,v_{k-1})=\operatorname{span}(e_1,\dots,e_{k-1})=\operatorname{span}(f_1,\dots,f_{k-1})\)。由 \(v_1,\dots,v_m\) 线性无关知 \(v_k\notin\operatorname{span}(v_1,\dots,v_{k-1})\),于是 \(v_k\notin\operatorname{span}(f_1,\dots,f_{k-1})\),从而定义式中的
\[ f_k=v_k-\sum_{j=1}^{k-1}\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j\ne 0, \]即 \(e_k=f_k/\|f_k\|\) 有定义且 \(\|e_k\|=1\)(再次用 6.9(b))。
验证正交性:固定 \(j\in\{1,\dots,k-1\}\)。由于范数是正实数,它等于自身的复共轭,故
\[ \langle e_k,e_j\rangle=\frac{1}{\|f_k\|}\,\overline{\Bigl(\frac{1}{\|f_j\|}\Bigr)}\langle f_k,f_j\rangle=\frac{\langle f_k,f_j\rangle}{\|f_k\|\,\|f_j\|}; \]再把 \(f_k\) 的定义代入第一变元并逐项展开:
\[ \langle f_k,f_j\rangle=\langle v_k,f_j\rangle-\sum_{i=1}^{k-1}\frac{\langle v_k,f_i\rangle}{\|f_i\|^2}\,\langle f_i,f_j\rangle =\langle v_k,f_j\rangle-\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}\,\|f_j\|^2=0, \]其中用到归纳假设 \(\langle f_i,f_j\rangle=0\)(当 \(i\ne j\))与 \(\langle f_j,f_j\rangle=\|f_j\|^2\)。于是 \(e_1,\dots,e_k\) 是标准正交组。
最后比较张成:把 \(f_k\) 的定义移项,得 \(v_k=f_k+\sum_{j<k}\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j\),而每个 \(f_i\) 都是 \(e_i\) 的倍数,故 \(v_k\in\operatorname{span}(e_1,\dots,e_k)\);结合归纳假设便有 \(\operatorname{span}(v_1,\dots,v_k)\subseteq\operatorname{span}(e_1,\dots,e_k)\)。另一方面,这两组向量都线性无关(\(v\) 组是假设,\(e\) 组由 6.25),故两个子空间的维数都是 \(k\),包含关系必为相等。归纳完成。证毕。
显式公式。由于 \(f_j=\|f_j\|e_j\) 且 \(\|f_j\|\) 为正实数,
\[ \frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j =\frac{\|f_j\|\,\langle v_k,e_j\rangle}{\|f_j\|^2}\cdot\|f_j\|e_j=\langle v_k,e_j\rangle\,e_j, \](第二个变元的共轭齐次性把正实数 \(\|f_j\|\) 的共轭变回自身,故不产生额外的共轭号。)于是格拉姆–施密特程序等价地写成一步式
\[ e_j=\frac{v_j-\displaystyle\sum_{k<j}\langle v_j,e_k\rangle\,e_k}{\Bigl\|\,v_j-\displaystyle\sum_{k<j}\langle v_j,e_k\rangle\,e_k\,\Bigr\|},\qquad j=1,\dots,m, \]即:"减去所有已生成方向上的投影,再单位化"。下例用它做具体计算。
例 4(\(\mathbf R^2\):对 \((1,0),(1,1)\) 做格拉姆–施密特)。取 \(v_1=(1,0)\),\(v_2=(1,1)\)。
\[ f_1=v_1=(1,0),\qquad e_1=\frac{f_1}{\|f_1\|}=(1,0); \] \[ f_2=v_2-\langle v_2,e_1\rangle e_1=(1,1)-1\cdot(1,0)=(0,1),\qquad e_2=(0,1). \]斜交组 \((1,0),(1,1)\) 被改造成了标准正交组 \((1,0),(0,1)\):第一步减掉了 \(v_2\) 在 \(e_1\) 上的投影 \(1\cdot e_1\),第二步在此例中恰好已经单位长。
例 5(\(\mathbf R^3\):完整数值演算)。取线性无关组
\[ v_1=(1,1,0),\qquad v_2=(1,0,1),\qquad v_3=(1,2,3) \](三者构成的行列式为 \(-4\ne0\),故线性无关;欧氏内积。)
第 1 步。\(f_1=(1,1,0)\),\(\|f_1\|^2=2\),故 \(e_1=\frac{1}{\sqrt2}(1,1,0)\)。
第 2 步。\(\langle v_2,e_1\rangle=\frac{1+0+0}{\sqrt2}=\frac{1}{\sqrt2}\),于是
\[ f_2=v_2-\langle v_2,e_1\rangle e_1=(1,0,1)-\tfrac12(1,1,0)=\Bigl(\tfrac12,-\tfrac12,1\Bigr),\qquad \|f_2\|^2=\tfrac14+\tfrac14+1=\tfrac32. \]故 \(e_2=f_2\big/\|f_2\|=\sqrt{\tfrac23}\,(\tfrac12,-\tfrac12,1)=\frac{1}{\sqrt6}(1,-1,2)\)。
第 3 步。\(\langle v_3,e_1\rangle=\frac{1+2+0}{\sqrt2}=\frac{3}{\sqrt2}\),\(\langle v_3,e_2\rangle=\frac{1-2+6}{\sqrt6}=\frac{5}{\sqrt6}\),于是
\[ f_3=v_3-\langle v_3,e_1\rangle e_1-\langle v_3,e_2\rangle e_2 =(1,2,3)-\tfrac32(1,1,0)-\tfrac56(1,-1,2)=\Bigl(-\tfrac43,\tfrac43,\tfrac43\Bigr), \]\(\|f_3\|^2=\frac{16}{9}\cdot3=\frac{16}{3}\),故 \(e_3=\frac{1}{\sqrt3}(-1,1,1)\)。
检验。\(\|e_1\|=\|e_2\|=\|e_3\|=1\);\(\langle e_1,e_3\rangle=\frac{-1+1+0}{\sqrt6}=0\),\(\langle e_2,e_3\rangle=\frac{-1-1+2}{\sqrt{18}}=0\)(\(\langle e_1,e_2\rangle=0\) 在第 2 步已保证)。于是
\[ e_1=\frac{(1,1,0)}{\sqrt2},\qquad e_2=\frac{(1,-1,2)}{\sqrt6},\qquad e_3=\frac{(-1,1,1)}{\sqrt3} \]是 \(\mathbf R^3\) 的标准正交基(长度 \(3=\dim\mathbf R^3\),用 6.28)。注意每个前缀张成不变:例如 \(\operatorname{span}(e_1,e_2)=\operatorname{span}(v_1,v_2)\),这正是定理所保证的。
例 6(勒让德多项式;原书 6.34)。在 \(\mathcal P_2(\mathbf R)\) 上取内积 \(\langle p,q\rangle=\int_{-1}^{1}pq\),对线性无关组 \(v_1=1,\ v_2=x,\ v_3=x^2\) 施行格拉姆–施密特。
第 1 步。\(f_1=1\),\(\|f_1\|^2=\int_{-1}^{1}1\,dx=2\)。
第 2 步。\(\langle x,1\rangle=\int_{-1}^{1}t\,dt=0\)(奇函数),故 \(f_2=x-\frac{0}{2}\cdot1=x\),\(\|f_2\|^2=\int_{-1}^{1}t^2dt=\frac23\)。
第 3 步。\(\langle x^2,1\rangle=\frac23\),\(\langle x^2,x\rangle=0\)(奇函数),故
\[ f_3=x^2-\frac{2/3}{2}\cdot1-\frac{0}{2/3}\cdot x=x^2-\frac13,\qquad \|f_3\|^2=\int_{-1}^{1}\Bigl(t^2-\frac13\Bigr)^2dt=\frac25-\frac49+\frac29=\frac{8}{45}. \]逐个单位化,得 \(\mathcal P_2(\mathbf R)\) 的标准正交基
\[ e_1=\sqrt{\frac12},\qquad e_2=\sqrt{\frac32}\,x,\qquad e_3=\sqrt{\frac{45}{8}}\Bigl(x^2-\frac13\Bigr)=\sqrt{\frac52}\,\frac{3x^2-1}{2}. \]多项式 \(P_0=1,\ P_1=x,\ P_2=\frac{3x^2-1}{2}\) 正是勒让德多项式 (Legendre polynomials) 的前三项:对 \(1,x,x^2,\dots\) 施行格拉姆–施密特(不单位化)所得的正交多项式,与 \(P_k\) 相差正倍数。一般地,
\[ e_k=\sqrt{\frac{2k+1}{2}}\;P_k,\qquad \|P_k\|^2=\int_{-1}^{1}P_k^2=\frac{2}{2k+1}, \]例如 \(\|P_2\|^2=\frac25\),与上面的计算一致。于是每个 \(n\) 都得到 \(\mathcal P_n(\mathbf R)\) 的一组标准正交基。
现在可以回答存在性问题。
推论 6.35(标准正交基的存在性) 每个有限维内积空间都有标准正交基。
取 \(V\) 的任意一组基,对其施行格拉姆–施密特程序 6.32,得到长度为 \(\dim V\) 的标准正交组;由 6.28,它就是标准正交基。证毕。
推论 6.36(标准正交组可扩充为标准正交基) 设 \(V\) 有限维,则 \(V\) 中每个标准正交组都可以扩充为 \(V\) 的标准正交基。
设 \(e_1,\dots,e_m\) 是标准正交组。由 6.25 它线性无关,故可扩充为 \(V\) 的基 \(e_1,\dots,e_m,v_1,\dots,v_n\)(第 2 章 2.32)。对这组基施行格拉姆–施密特:前 \(m\) 步中,由于 \(e_k\) 与此前所有向量正交,减去的投影项全为零,公式保持 \(f_k=e_k\) 不变。于是得到长度为 \(\dim V\) 的标准正交组 \(e_1,\dots,e_m,f_{m+1},\dots,f_{m+n}\),由 6.28 它是标准正交基。证毕。
与上三角矩阵的联系(简述)。格拉姆–施密特程序保持每个前缀张成空间,这一性质很有用。若算子 \(T\in\mathcal L(V)\) 关于某组基 \(v_1,\dots,v_n\) 有上三角矩阵,等价于每个 \(\operatorname{span}(v_1,\dots,v_k)\) 在 \(T\) 下不变(5.39);对这组基施行格拉姆–施密特得到标准正交基 \(e_1,\dots,e_n\),且每个 \(\operatorname{span}(e_1,\dots,e_k)=\operatorname{span}(v_1,\dots,v_k)\) 仍不变,故 \(T\) 关于某个标准正交基也有上三角矩阵(原书 6.37)。结合复数域上最小多项式的完全分解,便得舒尔定理 (Schur's Theorem, 6.38):复有限维内积空间上的每个算子,都关于某个标准正交基有上三角矩阵。证明细节留待读者对照原书 5.E 与本节。
展开公式:系数即内积
给定 \(V\) 的任意一组基 \(e_1,\dots,e_n\) 与向量 \(v\),把 \(v\) 写成 \(v=a_1e_1+\cdots+a_ne_n\) 一般需求解一个 \(n\times n\) 线性方程组。下面的定理表明:若基是标准正交的,坐标自动算出——\(a_k=\langle v,e_k\rangle\)。这是标准正交基全部便利的核心。
定理 6.30(按标准正交基展开) 设 \(e_1,\dots,e_n\) 是 \(V\) 的标准正交基,\(u,v\in V\)。则
(a) \(\displaystyle v=\langle v,e_1\rangle e_1+\cdots+\langle v,e_n\rangle e_n\);
(b) \(\displaystyle \|v\|^2=\bigl|\langle v,e_1\rangle\bigr|^2+\cdots+\bigl|\langle v,e_n\rangle\bigr|^2\)(帕塞瓦尔等式,Parseval's identity);
(c) \(\displaystyle \langle u,v\rangle=\langle u,e_1\rangle\overline{\langle v,e_1\rangle}+\cdots+\langle u,e_n\rangle\overline{\langle v,e_n\rangle}\)。
(a) 因为 \(e_1,\dots,e_n\) 是基,存在标量 \(a_1,\dots,a_n\) 使 \(v=a_1e_1+\cdots+a_ne_n\)。两边以 \(e_k\) 为第二变元作内积,利用第一变元的线性:
\[ \langle v,e_k\rangle=\sum_{j=1}^{n}a_j\langle e_j,e_k\rangle=a_k, \]代入即得 (a)。(另一观点:令 \(w=v-\sum_k\langle v,e_k\rangle e_k\),则对每个 \(j\),\(\langle w,e_j\rangle=\langle v,e_j\rangle-\langle v,e_j\rangle=0\);由于 \(e_1,\dots,e_n\) 张成 \(V\),\(w\) 与全空间正交,特别地 \(\langle w,w\rangle=0\),故 \(w=0\)。两个证明一个用"基",一个用"标准正交",恰好各用了定义的一半。)
(b) 对 (a) 中的展开式应用命题 6.24,取 \(a_k=\langle v,e_k\rangle\) 即得。
(c) 对 (a) 两边以 \(u\) 为第一变元作内积,并用第二变元的共轭齐次性:
\[ \langle u,v\rangle=\sum_{k=1}^{n}\overline{\langle v,e_k\rangle}\,\langle u,e_k\rangle=\sum_{k=1}^{n}\langle u,e_k\rangle\,\overline{\langle v,e_k\rangle}. \]证毕。
公式 (b) 称为帕塞瓦尔等式,其历史可追溯至 1799 年傅里叶级数的研究;它是贝塞尔不等式 6.26 在"组恰好张成全空间"时取等的情形。公式 (c) 则表明内积本身也可由"广义坐标" \(\langle v,e_1\rangle,\dots,\langle v,e_n\rangle\) 逐分量计算:每个 \(n\) 维内积空间的行为都像 \(\mathbf F^n\)。几何上,系数 \(\langle v,e_j\rangle\) 就是 \(v\) 在方向 \(e_j\) 上的投影长度(带符号),如下图所示。
例 7(求展开系数;原书 6.31)。把 \((1,2,4,7)\in\mathbf F^4\) 写成例 2 中标准正交基的线性组合。无需解方程组,直接算四个内积:
\[ \Bigl\langle(1,2,4,7),\Bigl(\tfrac12,\tfrac12,\tfrac12,\tfrac12\Bigr)\Bigr\rangle=\tfrac{14}{2}=7,\quad \Bigl\langle(1,2,4,7),\Bigl(\tfrac12,\tfrac12,-\tfrac12,-\tfrac12\Bigr)\Bigr\rangle=\tfrac{-8}{2}=-4, \] \[ \Bigl\langle(1,2,4,7),\Bigl(\tfrac12,-\tfrac12,-\tfrac12,\tfrac12\Bigr)\Bigr\rangle=\tfrac22=1,\quad \Bigl\langle(1,2,4,7),\Bigl(-\tfrac12,\tfrac12,-\tfrac12,\tfrac12\Bigr)\Bigr\rangle=\tfrac42=2. \]由 6.30(a) 立即读出
\[ (1,2,4,7)=7\Bigl(\tfrac12,\tfrac12,\tfrac12,\tfrac12\Bigr)-4\Bigl(\tfrac12,\tfrac12,-\tfrac12,-\tfrac12\Bigr)+\Bigl(\tfrac12,-\tfrac12,-\tfrac12,\tfrac12\Bigr)+2\Bigl(-\tfrac12,\tfrac12,-\tfrac12,\tfrac12\Bigr). \](可逐坐标验证,例如第一个坐标 \(\frac{7-4+1-2}{2}=1\)。)
例 8(用例 5 的基展开并验证帕塞瓦尔等式)。在例 5 的标准正交基 \(e_1=\frac{(1,1,0)}{\sqrt2},\ e_2=\frac{(1,-1,2)}{\sqrt6},\ e_3=\frac{(-1,1,1)}{\sqrt3}\) 下展开 \(w=(1,0,0)\):
\[ \langle w,e_1\rangle=\frac{1}{\sqrt2},\qquad \langle w,e_2\rangle=\frac{1}{\sqrt6},\qquad \langle w,e_3\rangle=-\frac{1}{\sqrt3}, \] \[ w=\frac{1}{\sqrt2}e_1+\frac{1}{\sqrt6}e_2-\frac{1}{\sqrt3}e_3 =\tfrac12(1,1,0)+\tfrac16(1,-1,2)-\tfrac13(-1,1,1)=(1,0,0). \]同时 \(\|w\|^2=\frac12+\frac16+\frac13=1\),与帕塞瓦尔等式 6.30(b) 一致。
用正交多项式逼近函数(伏笔)。标准正交基不只为"读坐标"省事,它还给出逼近函数的系统方法。设 \(f\) 是 \([-1,1]\) 上的连续函数,把它与勒让德标准正交基逐个作内积,得"勒让德–傅里叶系数" \(c_k=\langle f,e_k\rangle\);部分和 \(\sum_{k=0}^{n}c_ke_k\) 是 \(f\) 在 \(\mathcal P_n(\mathbf R)\) 中的最佳平方逼近——即它使 \(\int_{-1}^{1}|f-p|^2\) 最小。理由与证明将在 6.C(正交投影与最小化问题)给出;这里只预告两个令人愉快的事实:其一,本节例 11 将算出 \(\cos(\pi x)\) 在 \(\mathcal P_2(\mathbf R)\) 中的最佳平方逼近恰为 \(\frac{15}{2\pi^2}(1-3x^2)\);其二,原书 6.63 用同样的程序求出 \([\,-\pi,\pi\,]\) 上 \(\sin x\) 的最佳五次多项式逼近
\[ u(x)=0.987862\,x-0.155271\,x^3+0.00564312\,x^5, \]它在区间端点附近的精度远超泰勒多项式 \(x-\frac{x^3}{3!}+\frac{x^5}{5!}\)——线性代数在此改进了微积分给出的经典逼近。
线性泛函与里斯表示定理
我们在 3.F 中定义过线性泛函 (linear functional):从 \(V\) 到 \(\mathbf F\) 的线性映射;全体线性泛函构成的向量空间称为对偶空间 (dual space),记作 \(V'=\mathcal L(V,\mathbf F)\)(原书 6.39 重述了这一定义)。虽然 3.F 已证明 \(\dim V'=\dim V\),但在没有内积的结构下,\(V'\) 与 \(V\) 之间并无"自然的"同构。内积恰好提供了这个自然对应。
先看两个方向相反的例子。
例 9(\(\mathbf F^3\) 上的线性泛函;原书 6.40)。\(\varphi(z_1,z_2,z_3)=2z_1-5z_2+z_3\) 是 \(\mathbf F^3\) 上的线性泛函,且可写成内积
\[ \varphi(z)=\langle z,\,w\rangle,\qquad w=(2,-5,1)\in\mathbf F^3. \]一般地,固定 \(v\in V\),映射 \(u\mapsto\langle u,v\rangle\) 关于 \(u\) 是线性的(6.6(a)),故是 \(V\) 上的线性泛函。
例 10(一个不那么明显的泛函;原书 6.41)。在 \(\mathcal P_5(\mathbf R)\) 上取 \(\langle p,q\rangle=\int_{-1}^{1}pq\),定义
\[ \varphi(p)=\int_{-1}^{1}p(t)\cos(\pi t)\,dt. \]\(\varphi\) 显然是线性泛函。它能否写成 \(\varphi(p)=\langle p,q\rangle\) 的形式?注意 \(t\mapsto\cos(\pi t)\) 不是多项式,不能直接取 \(q=\cos(\pi t)\),因此 \(q\in\mathcal P_5(\mathbf R)\) 是否存在完全不明显。下面的定理给出肯定的回答。
定理 6.42(里斯表示定理,Riesz Representation Theorem) 设 \(V\) 有限维,\(\varphi\in V'\) 是 \(V\) 上的线性泛函。则存在唯一的向量 \(u\in V\),使得
\[ \varphi(v)=\langle v,u\rangle\qquad\text{对每个 }v\in V\text{ 成立}. \]存在性。取 \(V\) 的标准正交基 \(e_1,\dots,e_n\)(存在性由 6.35 保证)。对任意 \(v\in V\),由展开公式 6.30(a),\(v=\sum_{k=1}^{n}\langle v,e_k\rangle e_k\),于是由 \(\varphi\) 的线性,
\[ \varphi(v)=\sum_{k=1}^{n}\langle v,e_k\rangle\,\varphi(e_k). \]另一方面,若令 \(a_1,\dots,a_n\in\mathbf F\) 并考察 \(u=\sum_{k=1}^{n}a_ke_k\),则由第二变元的共轭齐次性,
\[ \langle v,u\rangle=\sum_{k=1}^{n}\overline{a_k}\,\langle v,e_k\rangle. \]要使两个表达式对一切 \(v\) 相等,只需 \(\overline{a_k}=\varphi(e_k)\),即 \(a_k=\overline{\varphi(e_k)}\)。于是取
\[ u=\overline{\varphi(e_1)}\,e_1+\cdots+\overline{\varphi(e_n)}\,e_n \](记此表示公式为 6.43),便有 \(\varphi(v)=\langle v,u\rangle\) 对一切 \(v\in V\) 成立。
唯一性。设 \(u_1,u_2\in V\) 都满足 \(\varphi(v)=\langle v,u_1\rangle=\langle v,u_2\rangle\) 对一切 \(v\in V\)。则对一切 \(v\),\(\langle v,\,u_1-u_2\rangle=0\);取 \(v=u_1-u_2\),得 \(\langle u_1-u_2,\,u_1-u_2\rangle=0\),由内积的确定性知 \(u_1-u_2=0\),即 \(u_1=u_2\)。证毕。
关于共轭位置的注记。表示公式 6.43 中出现复共轭,是 Axler"内积对第一变元线性"这一约定的直接后果:泛函 \(\varphi\) 线性地吃掉系数 \(\langle v,e_k\rangle\),而内积 \(\langle v,\cdot\rangle\) 是共轭线性地吃掉第二个变元的系数,两者之间恰差一个共轭号。若 \(\mathbf F=\mathbf R\),共轭不可见,公式成为 \(u=\varphi(e_1)e_1+\cdots+\varphi(e_n)e_n\)。另外,公式右端看似依赖于标准正交基的选取,但唯一性表明:无论从哪组标准正交基出发,算出的都是同一个向量 \(u\)。
例 11(里斯表示定理的计算;原书 6.44)。求 \(q\in\mathcal P_2(\mathbf R)\),使得对每个 \(p\in\mathcal P_2(\mathbf R)\),
\[ \int_{-1}^{1}p(t)\cos(\pi t)\,dt=\int_{-1}^{1}p\,q. \]取例 6 的勒让德标准正交基 \(e_1=\sqrt{\tfrac12},\ e_2=\sqrt{\tfrac32}\,x,\ e_3=\sqrt{\tfrac{45}{8}}\bigl(x^2-\tfrac13\bigr)\)。所需积分为:
\[ \int_{-1}^{1}\cos(\pi t)\,dt=\frac{2\sin\pi}{\pi}=0,\qquad \int_{-1}^{1}t\cos(\pi t)\,dt=0\ (\text{奇函数}), \] \[ \int_{-1}^{1}t^{2}\cos(\pi t)\,dt=2\Bigl[\frac{t^2\sin\pi t}{\pi}+\frac{2t\cos\pi t}{\pi^{2}}-\frac{2\sin\pi t}{\pi^{3}}\Bigr]_{0}^{1}=2\cdot\frac{2\cdot(-1)}{\pi^{2}}=-\frac{4}{\pi^{2}} \](分部积分两次)。于是(实数域,无共轭)
\[ \varphi(e_1)=0,\qquad \varphi(e_2)=0,\qquad \varphi(e_3)=\sqrt{\frac{45}{8}}\Bigl(-\frac{4}{\pi^{2}}-\frac13\cdot0\Bigr)=-\frac{4}{\pi^{2}}\sqrt{\frac{45}{8}}, \] \[ q=\varphi(e_3)\,e_3=-\frac{4}{\pi^{2}}\cdot\frac{45}{8}\Bigl(x^2-\frac13\Bigr)=\frac{15}{2\pi^{2}}\bigl(1-3x^{2}\bigr). \]验证:\(p=1\) 时两边都是 \(0\);\(p=x^2\) 时左边为 \(-\frac{4}{\pi^2}\),右边为 \(\frac{15}{2\pi^2}\int_{-1}^{1}(t^2-3t^4)dt=\frac{15}{2\pi^2}\bigl(\tfrac23-\tfrac65\bigr)=-\frac{4}{\pi^2}\),一致。同一程序施于 \(\mathcal P_5(\mathbf R)\) 给出更高阶的表示 \(q(x)=\frac{105}{8\pi^{4}}\bigl((27-2\pi^{2})+(24\pi^{2}-270)x^{2}+(315-30\pi^{2})x^{4}\bigr)\)(原书 6.44)。
顺带一提:\(q\) 恰是 \(\cos(\pi x)\) 在 \(\mathcal P_2(\mathbf R)\) 中的最佳平方逼近——"把泛函表示成内积"与"投影到子空间"本是同一枚硬币的两面,6.C 将把这一面翻开展示。
\(V'\cong V\):共轭线性同构。对每个 \(v\in V\),记 \(\varphi_v(u)=\langle u,v\rangle\);映射 \(v\mapsto\varphi_v\) 是 \(V\) 到 \(V'\) 的双射(满射即里斯表示定理,单射即证明中的唯一性部分)。容易验证
\[ \varphi_{v+w}=\varphi_v+\varphi_w,\qquad \varphi_{\lambda v}=\overline{\lambda}\,\varphi_v, \]因为 \(\langle u,\lambda v\rangle=\overline{\lambda}\langle u,v\rangle\)。所以:当 \(\mathbf F=\mathbf R\) 时,\(v\mapsto\varphi_v\) 是线性同构;当 \(\mathbf F=\mathbf C\) 时,它是共轭线性 (conjugate-linear) 的(反线性)双射。无论哪种情形,里斯定理都建立了对偶空间与原空间之间"典范"的 identification,而这一识别完全依赖于内积——这正是 3.F 中所得不到的。
重要性与去向。"把线性泛函写成内积"是后续理论的基石:6.C 将据此定义子空间 \(U\) 的正交补 \(U^\perp\)、正交投影 \(P_U\),并解决到子空间距离的最小化问题(原书 6.58 还会用正交补给出里斯定理的第二个证明);第 7.A 定义伴随算子 \(T^*\in\mathcal L(V)\) 时,对每个 \(w\),映射 \(v\mapsto\langle Tv,w\rangle\) 是线性泛函,由里斯定理存在唯一的向量(记作 \(T^*w\))使 \(\langle Tv,w\rangle=\langle v,T^*w\rangle\)——没有 6.42,\(T^*\) 无从谈起。还要注意:有限维这一假设不可省去,无限维内积空间上存在不能由内积表示的线性泛函(见练习 5)。
练习
练习 6.B-1
设 \(e_1,\dots,e_m\in V\) 满足:对一切 \(a_1,\dots,a_m\in\mathbf F\) 都有 \(\|a_1e_1+\cdots+a_me_m\|^2=|a_1|^2+\cdots+|a_m|^2\)。证明 \(e_1,\dots,e_m\) 是标准正交组。(这是 6.24 的逆命题;原书 6.B 习题 1。)
解答/提示取 \(a_k=1\)、其余为零,得 \(\|e_k\|^2=1\),故每个 \(e_k\) 是单位向量。再取 \(a_j=a_k=1\)(\(j\ne k\),其余为零):假设给出左边为 \(2\),而直接展开给出 \(\|e_j+e_k\|^2=2+2\operatorname{Re}\langle e_j,e_k\rangle\),故 \(\operatorname{Re}\langle e_j,e_k\rangle=0\)。若 \(\mathbf F=\mathbf R\),已完成;若 \(\mathbf F=\mathbf C\),再取 \(a_j=1,\ a_k=i\):假设给出 \(2\),而展开(注意 \(\langle e_j,ie_k\rangle=-i\langle e_j,e_k\rangle\)、\(\langle ie_k,e_j\rangle=i\overline{\langle e_j,e_k\rangle}\)、\(\|ie_k\|^2=1\))给出 \(2+2\operatorname{Im}\langle e_j,e_k\rangle\),故虚部亦为零,于是 \(\langle e_j,e_k\rangle=0\)。
练习 6.B-2
证明:\(\mathbf R^2\) 的每个标准正交基都形如 \((\cos\theta,\sin\theta),\,(-\sin\theta,\cos\theta)\) 或 \((\cos\theta,\sin\theta),\,(\sin\theta,-\cos\theta)\),其中 \(\theta\in\mathbf R\)。(原书 6.B 习题 2。)
解答/提示设 \(e_1,e_2\) 是标准正交基。\(\|e_1\|=1\),故可写 \(e_1=(\cos\theta,\sin\theta)\)。由 \(\langle e_2,e_1\rangle=0\) 与 \(\|e_2\|=1\):方程 \(x\cos\theta+y\sin\theta=0\) 的解空间是一维的,由 \((-\sin\theta,\cos\theta)\) 张成,于是 \(e_2=\pm(-\sin\theta,\cos\theta)\)。取正号得第一形式(旋转矩阵的列,保持定向),取负号得第二形式(反射型,反转定向)。
练习 6.B-3
设 \(e_1,\dots,e_m\) 是标准正交组,\(v\in V\)。证明:
\[ \|v\|^2=\sum_{k=1}^{m}\bigl|\langle v,e_k\rangle\bigr|^2 \qquad\Longleftrightarrow\qquad v\in\operatorname{span}(e_1,\dots,e_m). \](原书 6.B 习题 3。)
解答/提示(\(\Leftarrow\))写 \(v=\sum_k a_ke_k\),两边与 \(e_j\) 作内积得 \(a_j=\langle v,e_j\rangle\)(与 6.30(a) 同法),再由 6.24 得等式。(\(\Rightarrow\))令 \(w=v-\sum_k\langle v,e_k\rangle e_k\)。对每个 \(j\),\(\langle w,e_j\rangle=\langle v,e_j\rangle-\langle v,e_j\rangle=0\),故 \(w\) 与 \(u=\sum_k\langle v,e_k\rangle e_k\) 正交;由勾股定理 \(\|v\|^2=\|u\|^2+\|w\|^2\)。若等号成立,则 \(\|w\|^2=0\),即 \(w=0\),于是 \(v=u\in\operatorname{span}(e_1,\dots,e_m)\)。这正说明了贝塞尔不等式 6.26 何时取等。
练习 6.B-4
在 \(\mathcal P_2(\mathbf R)\) 上定义 \(\langle p,q\rangle=\int_0^1 pq\)。求 \(q\in\mathcal P_2(\mathbf R)\),使得 \(p\bigl(\tfrac12\bigr)=\int_0^1 pq\) 对每个 \(p\in\mathcal P_2(\mathbf R)\) 成立。(原书 6.B 习题 11;要求用格拉姆–施密特与里斯表示定理。)
解答/提示\(\varphi(p)=p(\frac12)\) 是线性泛函;由里斯表示定理(实数域),所求 \(q=\sum_k\varphi(e_k)e_k\),其中 \(e_1,e_2,e_3\) 取一组标准正交基。先在 \([0,1]\) 上对 \(1,x,x^2\) 做格拉姆–施密特:\(f_1=1\)(\(\|f_1\|^2=1\));\(\langle x,1\rangle=\frac12\),故 \(f_2=x-\frac12\)(\(\|f_2\|^2=\int_0^1(t-\frac12)^2dt=\frac1{12}\));\(\langle x^2,1\rangle=\frac13\),\(\langle x^2,f_2\rangle=\int_0^1t^2(t-\frac12)dt=\frac1{12}\),故 \(f_3=x^2-\frac13-\frac{1/12}{1/12}\bigl(x-\frac12\bigr)=x^2-x+\frac16\)。单位化:\(e_1=1,\ e_2=\sqrt{12}\bigl(x-\tfrac12\bigr),\ e_3=\sqrt{12}\bigl(x^2-x+\tfrac16\bigr)\)。计算:\(\varphi(e_1)=1\),\(\varphi(e_2)=\sqrt{12}\bigl(\tfrac12-\tfrac12\bigr)=0\),\(\varphi(e_3)=\sqrt{12}\bigl(\tfrac14-\tfrac12+\tfrac16\bigr)=-\tfrac{\sqrt{12}}{12}\)。于是
\[ q=1\cdot1+0-\tfrac{1}{12}\cdot12\Bigl(x^2-x+\frac16\Bigr)=-x^2+x+\frac56. \]验证:\(p=1\) 时 \(\int_0^1q=-\frac13+\frac12+\frac56=1=p(\frac12)\);\(p=x\) 时 \(\int_0^1t\,q\,dt=-\frac14+\frac13+\frac{5}{12}=\frac12=p(\frac12)\)。
练习 6.B-5
设 \(C[-1,1]\) 是 \([-1,1]\) 上实连续函数的空间,配内积 \(\langle f,g\rangle=\int_{-1}^{1}fg\);定义 \(\varphi(f)=f(0)\)。证明:不存在 \(g\in C[-1,1]\) 使 \(\varphi(f)=\langle f,g\rangle\) 对一切 \(f\) 成立。这说明里斯表示定理 6.42 中"有限维"的假设不可去掉。(原书 6.B 习题 22。)
解答/提示反设这样的 \(g\) 存在。对 \(n=1,2,\dots\),取折线函数 \(f_n(x)=\max\{\,1-n|x|,\ 0\,\}\):它连续,\(f_n(0)=1\),\(|f_n|\le1\),且在 \([-1,1]\) 上仅在 \([-\tfrac1n,\tfrac1n]\) 内非零。由 \(g\) 连续知 \(|g|\le M\) 于 \([-1,1]\),于是
\[ \bigl|\langle f_n,g\rangle\bigr|\le\int_{-1/n}^{1/n}|g|\le\frac{2M}{n}\longrightarrow 0, \]但 \(\varphi(f_n)=f_n(0)=1\) 对一切 \(n\) 成立,与 \(\varphi(f_n)=\langle f_n,g\rangle\to0\) 矛盾。直观地说:赋值泛函"集中在一点",而内积泛函总是"弥散"在整个区间上的。
练习 6.B-6
证明:向量组 \(v_1,\dots,v_m\in V\) 线性相关,当且仅当把格拉姆–施密特公式(6.32)用于该组时,某个 \(f_k=0\)。(原书 6.B 习题 13;这给出了除高斯消元外判断线性相关性的另一途径。)
解答/提示(\(\Rightarrow\))设组线性相关,取最小的 \(k\) 使 \(v_k\in\operatorname{span}(v_1,\dots,v_{k-1})\);此时 \(v_1,\dots,v_{k-1}\) 线性无关,对它们施行格拉姆–施密特得 \(f_1,\dots,f_{k-1}\ne0\) 且 \(\operatorname{span}(v_1,\dots,v_{k-1})=\operatorname{span}(f_1,\dots,f_{k-1})\)(6.32 对线性无关前缀仍适用)。于是 \(v_k=\sum_{j<k}c_jf_j\),且两边与 \(f_i\) 作内积得 \(c_i=\frac{\langle v_k,f_i\rangle}{\|f_i\|^2}\),代回即见 \(f_k=v_k-\sum_{j<k}\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j=0\)。(\(\Leftarrow\))若某 \(f_k=0\),定义式移项给出 \(v_k=\sum_{j<k}\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j\in\operatorname{span}(f_1,\dots,f_{k-1})=\operatorname{span}(v_1,\dots,v_{k-1})\),故组线性相关。