主要先修：9.3 勒贝格积分与积分收敛定理、10.6 中心极限定理及其推广、17.1 偏差、风险与一致性、19.1 随机阶与渐近展开。
从积分收敛、风险和极限定理进入局部平滑，三角阵CLT直接用10.6。无需先完成22.1–22.3；19.2是理解局部估计方程的扩展联系。 查看全书依赖图与分支路线。
22.4.1 核函数与平滑尺度
经验分布把概率放在观测点上，经验CDF不需要平滑。如果目标是连续密度或随特征变化的条件均值，就必须说明局部信息如何组合。设\(X_1,\ldots,X_n\) iid具有密度\(f\)，带宽\(h>0\)，核\(K\)是非负、有界、关于零对称的概率密度，满足
每个观测贡献一条面积为\(1/n\)的局部密度曲线；有限求和与变量替换给\(\int\widehat f_h(x)dx=1\)，估计始终非负。高斯核取\(K=\varphi\)，即标准正态密度；Epanechnikov核取\(K(u)=\tfrac34(1-u^2)\mathbf1_{|u|\le1}\)。这里的核是平滑权函数。
带宽是观测单位中的长度，决定局部尺度。渐近分析中它是确定性的序列\(h_n\to0\)，还需\(nh_n\to\infty\)。前者减少平滑偏差，后者让局部有效观测数增长。由数据挑选的随机带宽需要相应理论，不能自动套用固定序列结论。
22.4.2 内点偏差与方差的完整推导
下面给出便于核查的充分条件：\(f\)在全实数上二次连续可微，且\(f\)与\(f''\)有界，固定x满足\(f(x)>0\)。因此x处在平滑密度的内部；非光滑支持端点不满足这些条件。核满足上一节条件。则
偏差证明。换元得\(E\widehat f_h(x)=\int K(u)f(x-hu)du\)。Taylor积分余项为
核的一阶矩为零，线性项消失。对固定u，余项除以\(h^2\)趋于\(u^2f''(x)/2\)；绝对值由\(u^2\|f''\|_\infty/2\)支配，可按\(K(u)du\)积分。因此得到偏差式。对高斯等非紧支撑核，这个支配条件也控制了尾部，不能只写局部Taylor而忽略积分区间无界。
方差证明。独立性给\(\operatorname{Var}(\widehat f_h)=n^{-1}\operatorname{Var}(K_h(x-X))\)，且
有界f与\(K^2\)可积使控制收敛给积分趋于\(f(x)R(K)\)。需扣除\(n^{-1}(E\widehat f_h)^2\)，此项为\(O(1/n)=o(1/(nh))\)，得到方差式。证毕。
两个条件一起保证点态均方一致。它们不是自动的全区间一致收敛条件；置信带还需控制多个位置或整个函数。密度在某点为零、导数不连续、带宽不缩小等情形，也需重新分析主项。
22.4.3 最优带宽与密度估计的CLT
点态均方误差是偏差平方加方差。在\(f''(x)\ne0\)时，其渐近主项为\(Ah^4+B/(nh)\)，其中\(A=\mu_2(K)^2f''(x)^2/4\)、\(B=f(x)R(K)\)。求导并检查正最小值，得
这是未知总体给定后的理论最优值，含未知f和导数，不是可以直接从样本读出的数。若\(f''(x)=0\)，此四次偏差主项消失，不能除以零继续使用该公式。不同平滑程度及损失目标也会改变速率。
在第2小节条件下，\(h\to0,nh\to\infty\)时，
证明。记\(Z_{ni}=K_h(x-X_i)-EK_h(x-X_i)\)，同一行中这些变量独立。其方差和\(s_n^2=n\operatorname{Var}Z_{n1}\sim nf(x)R(K)/h\)。由于核有界且均值有界，\(\max_i|Z_{ni}|/s_n\le C/\sqrt{nh}\to0\)，故Lindeberg条件成立。三角阵CLT给\(\sum_iZ_{ni}/s_n\Rightarrow N(0,1)\)，乘回确定尺度得到结论。证毕。
中心是估计量的期望，不是真密度。若另有\(nh^5\to0\)，偏差乘\(\sqrt{nh}\)趋零，才可改以f中心化。均方误差最优的\(h\asymp n^{-1/5}\)通常留下非零尺度偏差；要做覆盖推断，需要校正偏差或采用更小带宽，不能只报告上述方差。
指定三个数据\((-1,0,1)\)，高斯核、\(h=1/2\)。在零点估计为\(\widehat f_h(0)=\frac{2}{3\sqrt{2\pi}}(1+2e^{-2})\approx0.337949\)。这只是给定数据的密度值，不是某个参数事件的概率。图22.4-1用同一组数据改变带宽。
另外，为检验理论常数，设总体确为标准正态。高斯卷积给\(E\widehat f_h(0)=1/\sqrt{2\pi(1+h^2)}\)，而
第一项来自\(\int K_h(-z)^2\varphi(z)dz\)的高斯积分；减去期望平方得到精确有限样本方差。此时\(\mu_2=1,R(K)=1/(2\sqrt\pi),f''(0)=-f(0)\)，故n为1000时点态主项最优带宽约为0.234367。该总体只用于核算，并未假定所有实际密度正态。
22.4.4 选择带宽、边界与维数
若还要求\(f\in L^2\)、二阶弱导数\(f''\in L^2\)，Taylor余项在\(L^2\)中由平移连续性控制，得到综合均方误差的主项\(\mu_2^2h^4\|f''\|_2^2/4+R(K)/(nh)\)。这是全实数积分损失，区别于上一节的单点损失。正态总体和高斯核下，\(\|f''\|_2^2=3/(8\sqrt\pi)\)，故该主项最优带宽为\((4/3)^{1/5}n^{-1/5}\)，约\(1.059224n^{-1/5}\)；一般标准差为\(\sigma\)时再乘\(\sigma\)。这个正态参考规则不保证多峰或尖锐真实密度的最佳带宽。
一种可由数据计算的选择是最小二乘留一交叉验证：
\(\widehat f_{h,-i}\)删除第i个观测并以\(n-1\)归一化。对固定h、n至少为2，留出的观测与估计独立，因此第二项期望为\(2\int f(x)E\widehat f_h(x)dx\)；上式期望等于综合均方误差减去常数\(\int f^2\)。这证明的是固定候选的期望关系，不保证单个数据选出的h无偏、稳定或最优。
支持端点会破坏对称消去偏差。例如总体在\([0,1]\)均匀，用高斯核在零点的期望为\(\Phi(1/h)-1/2\to1/2\)，未能逼近右侧密度极限1。反射、边界核和局部似然是可用修正，但需匹配支持信息。回归的局部线性拟合可消除一阶设计偏差，它与密度端点修正不属于同一个推断问题。
在d维、各向同性二阶平滑、适当核矩与内点条件下，主要偏差仍为\(O(h^2)\)，方差为\(O(1/(nh^d))\)。平衡两项给\(h\asymp n^{-1/(d+4)}\)、误差\(n^{-4/(d+4)}\)。这个条件化速率展示维数的代价；低维结构、不同光滑度或各向异性带宽会改变结论，不能声称任何非参数问题都服从此速率。
22.4.5 局部常数回归与设计密度
设观测对\((X_i,Y_i)\) iid，目标\(r(x)=E[Y\mid X=x]\)。Nadaraya–Watson估计在分母为正时为
它也最小化\(\sum_iK((x-X_i)/h)(Y_i-a)^2\)；对a求导即可得到该比值。紧支撑核在样本没有附近观测时可能分母为零，必须说明补全规则；高斯核分母正，却可能很小，外推仍会不稳定。
点态一致性的一组完整充分条件。设\(|Y|\le C\)，f有界，f和rf在x处连续且\(f(x)>0\)。记分母密度估计为\(D_n=(nh)^{-1}\sum_iK((x-X_i)/h)\)，分子为\(N_n=(nh)^{-1}\sum_iK((x-X_i)/h)Y_i\)。变量替换与控制收敛给\(ED_n\to f(x)\)、\(EN_n\to r(x)f(x)\)；两项方差均为\(O(1/(nh))\)，后者由有界Y控制。因此两项依概率趋于对应极限，分母以高概率远离零，Slutsky给\(\widehat r_h(x)\to r(x)\)。零分母处任意固定有限值不会改变此结论。证毕。有界响应是这里的充分条件，可用适当条件矩控制替代，但需另行论证。
若f与rf满足前面的有界二阶导数条件，其总体局部目标\(r_h=EN_n/ED_n\)还满足
证明是在两个卷积的Taylor展开后作比值展开，再用\((rf)''=r''f+2r'f'+rf''\)。这不是有限样本\(E[N_n/D_n]\)的精确式，因为期望不能直接通过随机比值。它也说明设计密度变化造成额外偏差。
给定\((X,Y)=(-1,0),(0,2),(1,8)\)，在x为零、高斯核、h为一时，公共常数抵消，权重正比于\((e^{-1/2},1,e^{-1/2})\)。因此\(\widehat r_h(0)=(2+8e^{-1/2})/(1+2e^{-1/2})\approx3.096274\)。h趋零时靠近中心响应2，h趋无穷时靠近普通平均\(10/3\)。这是固定数据的计算，不证明小h或大h普遍更准。
若给定设计后\(Y_i=r(X_i)+\varepsilon_i\)，误差条件均值零、相互不相关、方差\(\sigma^2\)，则此权重下精确条件方差为\(\sigma^2\sum_iw_i^2\)，条件偏差为\(\sum_iw_i r(X_i)-r(x)\)。把两个部分平方相加才得到条件均方误差；没有规定真实r时无法从图中算出它。
22.4.6 习题与完整解答
习题22.4-1 · Epanechnikov核的矩
核为\(3(1-u^2)/4\)在\([-1,1]\)内，区间外为零。验证归一化，求二阶矩和R(K)。
归一化积分为\((3/4)(2-2/3)=1\)，对称性使一阶矩为零。二阶矩为\((3/4)(2/3-2/5)=1/5\)；平方积分为\((9/16)(2-4/3+2/5)=3/5\)。因此其偏差主项为\(h^2 f''(x)/10\)，方差主项为\(3f(x)/(5nh)\)。比较不同核时必须同时考虑二阶矩、平方积分和带宽单位，不能只按峰高评价估计性能。
习题22.4-2 · 最优MSE带宽留下的偏差
标准正态总体、高斯核、x为零，令\(h=c n^{-1/5}\)，c为固定正数。求\(\sqrt{nh}(E\widehat f_h(0)-f(0))\)的极限。
此处\(f''(0)=-f(0)\)、\(\mu_2=1\)，偏差为\(-f(0)h^2/2+o(h^2)\)。乘\(\sqrt{nh}\)，因\(\sqrt n h^{5/2}=c^{5/2}\)，极限为\(-f(0)c^{5/2}/2\)，并不为零。因此以真密度中心化的渐近正态分布带有这个均值位移。若希望此位移消失，需要\(nh^5\to0\)或明确校正偏差；仅让h趋零不足以保证正态置信区间的覆盖。
习题22.4-3 · 对称边界损失一半质量
总体在\([0,1]\)均匀，采用任一连续对称核。计算零点核估计的期望极限，并解释为什么与第2小节不冲突。
期望为\(\int_0^1h^{-1}K(-u/h)du=\int_0^{1/h}K(v)dv\)，由对称性与归一化趋于\(1/2\)。右侧的总体密度极限为1，未观测的支持外半边没有数据贡献。零点处密度的单点取值不影响概率分布，这里讨论的是右侧极限与平滑端点的失真。均匀密度在端点不能在全实数上二次连续延伸，所以不满足内点偏差推导的条件，无矛盾。
习题22.4-4 · 局部线性回归的再现性
以\(\sum_iK((x-X_i)/h)[Y_i-a-b(X_i-x)]^2\)拟合局部直线，局部加权设计满秩。若观测无噪声且\(Y_i=\alpha+\beta X_i\)，证明预测\(\hat a=\alpha+\beta x\)，比较局部常数。
取\(a=\alpha+\beta x,b=\beta\)，每个有正权重的残差均为零，总平方和达到最小零。满秩使二次目标严格凸，因此解唯一，截距预测恰为目标线性函数。局部常数预测则为\(\alpha+\beta\sum_iw_iX_i\)，偏差是\(\beta\sum_iw_i(X_i-x)\)，边界或不均匀设计下通常不为零。局部线性消除了这一阶偏差，但不表示任意曲线无偏，也不自动给出精确预测区间。
关键术语
- 带宽：决定平滑局部尺度的正数。
- 核密度估计：平均以各观测为中心的缩放核密度。
- 点态误差：在一个预先指定位置评价的估计误差。
- 综合均方误差：先把密度平方误差在全域积分，再按抽样分布取平均。
- 欠平滑：为控制推断偏差而采用比均方误差最优值更小的带宽。
- 设计密度：随机预测变量X的概率密度。
- Nadaraya–Watson估计：用核权重计算响应的局部加权平均。
- 局部线性回归：在预测位置附近加权拟合截距与斜率。
- 边界偏差：支持边界附近缺少一侧数据产生的平滑失真。
参考文献
- Simon J. Sheather，2004，Density Estimation，Statistical Science 19(4)，588–597，DOI 10.1214/088342304000000297。原论文讨论核密度的误差和带宽选择；本节明确给出用于推导的充分条件。
- Marina Meilă，University of Washington，2023，Bias and variance in Kernel Regression。大学官方讲义，用条件于设计的权重分析回归偏差与方差；正文另外区分随机比值与总体局部目标。