基因组科学概论A PRIMER OF GENOME SCIENCE
第四章 · 4.5

4.5 模式发现：聚类与分类

Pattern Discovery: Clustering and Classification

本节摘要　差异表达分析回答的是预设分组之间的比较，模式发现则允许数据自行呈现结构。本节区分无监督与有监督两类学习范式，依次阐述距离与相似度、层次聚类与双向热图、k 均值与自组织映射、主成分降维，以及 k 近邻、判别与支持向量机等分类方法；结合急性白血病分型与乳腺癌预后签名的经典研究，阐明特征选择、交叉验证与过拟合防范的方法学要义。

4.4 节建立的统计链路解决的是「预设分组之间谁变了」的检验问题：分组信息来自实验设计，统计只负责确认差异。然而转录组数据中还有许多结构事先并无假设——哪些基因在全部样本中携手起落？样本是否按尚未被认识的亚型自然分群？回答这类问题的工具箱统称模式发现(pattern discovery)，其统计学基础是多元数据的聚类、降维与分类。自 Eisen 等（1998）建立全基因组层次的聚类与可视化流程以来，这些方法已成为表达数据分析的标准组成部分（Gibson & Muse, 2009）。本节按「范式—距离—算法—验证」的顺序展开：先辨析无监督与有监督两类学习问题，再依次讨论距离度量、层次聚类与热图、k 均值与自组织映射、主成分降维，最后转入有监督分类及其不可回避的评估与过拟合问题，并以三项经典临床研究及其后续争议收束。

4.5.1 学习范式总览：无监督与有监督

模式发现的第一重区分在于「是否使用标签」。将经过背景校正与归一化的表达矩阵记为 X = [ xij ]n×p（见 4.1 节公式 4.1-2）：n 行基因，p 列样本。若分析只使用 X 本身，即在不引用任何外部信息的前提下寻找矩阵内部的行结构与列结构，属于无监督学习(unsupervised learning)；若另有一组样本级标签 y = (y1, …, yp)（疾病亚型、处理条件、复发与否），目标是学习从列向量到标签的映射规则，则属于有监督学习(supervised learning)。这一区分不是技术细节而是推断逻辑：无监督方法没有「对错」可校验，其结论必须依靠稳定性与外部生物学证据支撑；有监督方法存在明确的预测任务，其成败可以用未参与训练的数据度量。顺带指出，4.4 节的两样本 t 检验以分组为条件，本质上已是有监督框架下的推断形式；本节讨论的则是算法层面的对应物。

表达矩阵的双重身份决定了聚类的两个方向。第 i 行 xi = (xi1, …, xip) 是基因 i 在 p 个样本上的表达谱，对行聚类寻找共表达(co-expression)的基因模块——它们常受同一组转录因子调控或位于同一条通路；第 j 列 sj = (x1j, …, xnj) 是样本 j 的全基因组表达指纹，对列聚类检验样本是否按生物学属性自然分群。两个方向可以使用同一套算法，被聚类的对象不同而已。

无监督（结构发现）

目标：发现数据内在结构——簇、低维结构、离群点。
输入：仅表达矩阵 X，不带标签。
输出：簇划分、层次树、低维坐标。
主要风险：把噪声或批次效应误读为生物学结构。
代表方法：层次聚类、k 均值、SOM、PCA。
评价方式：无真值可比，依赖簇稳定性、轮廓系数与生物学可解释性。

有监督（规则学习）

目标：学习预测标签的规则，并泛化到新样本。
输入：X 与标签 y（训练样本对）。
输出：分类器 f 及其对新样本的预测。
主要风险：过拟合与信息泄漏造成虚高准确率。
代表方法：k 近邻、线性判别分析、支持向量机。
评价方式：独立测试集或交叉验证估计的泛化误差。

定义

无监督学习：仅从无标签数据中提取结构的统计学习设定，聚类与降维是其代表任务；因不存在真值参照，结论的效力来自稳定性与外部证据。有监督学习：从（特征向量，标签）样本对中学习映射 f : x ↦ y、并以未参与训练的数据上的误差评价的设定，分类与回归是其代表任务。二者的边界情形（如以聚类结果充当伪标签再训练）在表达谱研究中亦有出现，但评价方式必须与所采用的范式一致——用训练精度评价有监督模型，或宣称无监督簇「显著正确」，都是范畴错误。

4.5.2 距离与相似度

聚类与近邻分类都以「距离」为原料：距离函数把任意两个表达向量映射为一个非负实数，数值越小越相似。三种最常用的定义如下（以两个行向量 xa、xb 为例）：

dE(xa, xb) = [ Σj=1p ( xaj − xbj )² ]1/2，　dM(xa, xb) = Σj=1p | xaj − xbj |，　dr(xa, xb) = 1 − rab (4.5-1) xa、xb：基因 a 与基因 b 的表达谱（p 维向量）；rab：两者的皮尔逊相关系数，故 dr 即相关距离(correlation distance)，取值范围 [0, 2]。三种度量均满足非负性与对称性；dE、dM 满足距离公理，1 − r 不满足三角不等式，严格说是伪度量（pseudometric），但在聚类实践中被广泛使用（Hastie et al., 2009）。

三种度量的侧重不同。欧氏距离同时敏感于表达谱的形状与幅度：两条同起同落但整体相差一个常数（如恒为 2 倍）的谱，欧氏距离可以很大。曼哈顿距离把平方换成绝对值求和，对个别离群样本更稳健。相关距离只保留形状信息：两条谱的起落模式完全一致时 dr = 0，与绝对水平无关。表达谱分析关心的常常是「是否受同一程序调控」，即形状的同步性，因此基因聚类多选相关距离；样本聚类则两者皆常见——若关心总体表达水平的差别（例如区分高增殖与低增殖肿瘤），欧氏距离更合适。距离计算之前通常对每行做 z 分数标准化（减去行均值再除以行标准差），这一步等价于把分析重心从幅度移向形状，对采用欧氏距离的聚类影响尤大。

注记

距离的选择决定能发现什么模式。设想基因 u 与 v 的表达谱在 8 个样本中完全同形，但 v 恒为 u 的 4 倍（log₂ 差恒为 2）：相关距离视两者为近邻（r = 1，dr = 0），欧氏距离却把它们分得很远。于是用相关距离聚类得到的是「协同调控模块」，用欧氏距离聚类得到的是「表达水平分层」——同一份数据，两个都正确却回答不同问题的答案。反过来说，寻找形态模式（谁与谁同起同落）宜用相关距离，寻找幅度模式（谁与谁总量相近）宜用欧氏距离。阅读文献时必须先确认作者采用了哪种距离、是否标准化，再解读聚类的生物学含义；不存在对所有目的都最优的距离。

4.5.3 层次聚类、双向热图与 k 均值

层次聚类(hierarchical clustering)输出一族嵌套的簇，组织成一棵树。凝聚式(agglomerative)算法（如 AGNES）自底向上：初始每个对象自成一簇，每一步合并距离最近的两簇，直至只剩一簇；分裂式(divisive)算法（如 DIANA）自顶向下，先将全部对象视为一簇再递归拆分。表达谱分析以凝聚式为绝对主流。凝聚式的关键在于「两个簇之间的距离」如何定义——点与点的距离已经由式 (4.5-1) 给定，簇与簇的距离则取决于链接准则(linkage criterion)，常用四种见表 4.5-1。

表 4.5-1凝聚式层次聚类的四种常用链接准则
准则簇间距离定义簇形状倾向与注意事项
单链接（最近邻）两簇最近点对的距离可发现非球形与长链状簇（链式效应），易把仅靠一点相连的簇并为一体
全链接（最远邻）两簇最远点对的距离倾向紧凑的球状簇，对离群点敏感
平均链接（UPGMA）两簇全部点对距离的平均介于单、全链接之间的折中，表达谱分析常用
Ward 最小方差合并所引起的簇内离差平方和增量倾向大小相近的球状簇，需在欧氏距离（或标准化数据）上使用

合并过程记录为树状图(dendrogram)：每个叶节点是一个基因或样本，每次合并对应一次分叉，分叉的高度即合并时的簇间距离（Ward 准则下为离差平方和增量）。在某一高度横向切割树，即得到该分辨率下的簇划分：切得低则簇多而细，切得高则簇少而粗，分析者按生物学问题选择切割高度，并可辅以自举重抽样评估各分支的支持度。需要提醒的是，树状图的横向次序没有信息量：同一棵树在任何分叉处左右翻转都是合法绘制，不能仅因两个叶节点「画在一起」就断言它们相似，必须回到分叉高度本身。

表达谱研究几乎不做单向聚类，而是双向聚类(two-way clustering)：对行（基因）与列（样本）各建一棵树，按树叶次序同时重排行列，将矩阵着色后即为热图(heatmap)。Eisen 等（1998）在分析酵母时间进程与人细胞系转录组时系统采用这一流程，并随论文发布了 Cluster 与 TreeView 软件，使「双向树状图 + 热图」成为表达谱论文的标准图式；原图式采用红–绿双极配色，本教程改用苔绿–赭双极色以便色觉缺陷读者。读图要点有三：其一，行列成片的色块提示协同变化的模块，椒盐状碎点提示噪声或聚类无效；其二，样本树若把同组样本聚在一起，说明表达谱携带组间信号，若按杂交日期或实验批次而非按分组聚集，则提示批次效应——4.3 节的设计缺陷会在此现形；其三，色标范围必须随图注明，压缩色标会把微小差异放大成强烈的视觉对比。图 4.5-1 以示意数据演示行列排序如何揭示结构。

双向层次聚类热图：基因（行）× 样本（列） 颜色编码 log₂(处理/对照)：苔绿 = 下调，赭色 = 上调，浅灰 ≈ 0；悬停格子查看数值。 样本方向树状图（列聚类） 基因方向树状图（行聚类） 对照组 处理组 上调模块 下调模块 背景簇 −3 0 +3 log₂(处理/对照)
按钮在「未聚类 ⇄ 层次聚类」两种行列顺序间切换；聚类的价值不在于改变数据，而在于排序揭示结构。
图 4.5-1　双向层次聚类热图（示意数据，6 基因 × 8 样本）。基因方向（左树）与样本方向（上树）同时聚类：上调模块（g1–g2）、下调模块（g3–g4）与背景簇（g5–g6）在行方向自动分层，对照组与处理组在列方向自然分开，两棵树的分叉高度对应合并距离。互动：点击按钮打乱行列顺序，同一份数据在未聚类时几乎读不出任何结构；悬停任意格子可查看该基因在该样本的 log₂ 值。图式源自 Eisen 等（1998）的 Cluster/TreeView 流程，此处为苔绿–赭配色的重绘。
习题 4.5-1

四个对象 A–D 的两两距离为：d(A,B) = 2，d(C,D) = 3，d(A,C) = 5，d(B,C) = 6，d(B,D) = 8，d(A,D) = 9。(1) 写出凝聚式层次聚类前两次合并的对象与合并高度；(2) 分别用单链接与平均链接计算第三次（最后一次）合并的高度；(3) 结合本例说明单链接的链式效应。

参考解答

(1) 最小距离为 d(A,B) = 2，先合并 {A,B}；次小为 d(C,D) = 3，再合并 {C,D}。两次合并在簇内进行，与链接准则无关。(2) 单链接：d({A,B},{C,D}) = min(5, 6, 9, 8) = 5；平均链接：d({A,B},{C,D}) = (5 + 6 + 9 + 8) / 4 = 7。(3) 单链接只考察最近点对，A 与 C 相距仅 5，即使 B、D 两点相距 8、簇内其余成员更远，也不影响合并高度——簇间距离被最近的两点「代表」，合并高度被系统性压低，容易把仅由一点链桥相连的长链状簇并为一体；平均链接把全部点对计入，得到更保守的合并高度 7。

层次树并非唯一的聚类组织方式。k 均值聚类(k-means clustering)直接把对象划分为预先指定的 k 个簇 C1, …, Ck，目标是最小化簇内离差平方和：

W(C) = Σk=1K Σi∈Ck ‖ xi − μk ‖2，　μk = (1/|Ck|) Σi∈Ck xi (4.5-2) xi：被聚类对象的向量（基因表达谱或样本指纹）；Ck：第 k 个簇；μk：簇内均值向量（质心）；W(C) 也称组内平方和。簇数 K 须事先指定。

求解采用 Lloyd 迭代：给定当前质心，把每个对象划入最近质心所在的簇（分配步）；再以各簇均值更新质心（更新步），两步交替直至划分不再变化。迭代使 W(C) 单调下降，但只保证收敛到局部最优：初始质心不同，结果可以不同，实践中常取多次随机起点中的最优者，或采用 k-means++ 这类扩散式初始化以降低劣质起点的概率。簇数 k 的选择没有免费答案：可在不同 k 下考察 W(C) 的下降速度寻找「肘部」，或以轮廓系数、重抽样稳定性等指标比较。与层次聚类相比，k 均值给出平直划分，计算更快，便于在数千基因上批量解释，代价是丢失嵌套层次、需预定 k，且对离群点敏感——离群点会拖动质心。

自组织映射(self-organizing map, SOM)可视为受约束的 k 均值：质心被固定在一张二维网格上，训练时不仅更新最近质心，也按邻域函数更新其网格邻居，使相邻结点学到相似的簇。这一拓扑保持性质让「相邻的簇彼此相似」可以直接从图上读出。Tamayo 等（1999）以 SOM 分析造血细胞分化的表达谱时间进程，使连续分化过程呈现为网格上的一条轨迹，是其早期代表应用。

4.5.4 降维与主成分分析

聚类回答「谁与谁相似」，降维回答「能否用更少的变量看清全局」。表达矩阵的每个样本是 n ≈ 10⁴ 维空间中的一个点，直接作图不可能；降维寻找低维表示，既用于可视化，也常作为下游分类的去噪输入。主成分分析(principal component analysis, PCA)是最基础的线性降维方法：在所有单位方向 v 中寻找样本投影方差最大的方向 v1（第一主成分），再在与 v1 正交的方向中寻找方差次大的 v2，依此类推。数学上这些方向由样本协方差矩阵的特征分解给出：

zij = vjT ( xi − x̄ )，　Σ̂ vj = λj vj，　λ1 ≥ λ2 ≥ … ≥ 0 (4.5-3) Σ̂：样本协方差矩阵；vj：第 j 个载荷向量（特征向量）；λj：对应特征值，等于该方向上的投影方差；zij：样本 i 在第 j 主成分上的得分(score)。载荷向量的每个分量表示对应基因对该主成分的贡献，前几个主成分的解释方差占比 λj/Σλ 常标注在散点图坐标轴上。

把每个样本按前两个得分 (zi1, zi2) 画成散点，即得到表达谱数据最常用的质控图。解读规则如下：同组样本聚成一团、组间沿 PC1 分离，说明组间差异确实是数据中最大的变异来源；样本不按设计分组、而按杂交日期或实验批次聚集，则暴露了批次效应(batch effect)——这是 PCA 最经典的日常用途；孤悬团外的单个样本首先应怀疑质控问题（RNA 降解、标记效率异常、扫描饱和），而不是「发现新亚型」。图 4.5-2 给出示意。需要注意 PCA 本身无监督且线性：当批次与生物学分组在设计中混叠时，PC1 分离两组未必代表生物效应，结论必须回到实验设计核对；对非线性结构，后续发展出 t-SNE、UMAP 等非线性降维方法（原书出版于 2009 年，未涵盖），其结果同样只宜作探索用途。降维之后也可以在低维空间中再做聚类，两者常配合使用。

主成分分析（PCA）散点图（示意数据） 16 个样本投影到前两个主成分平面；虚线椭圆示意各组分布范围，另有 2 个批次 B 样本明显离群。 PC1（解释约 62% 方差，示意） PC2（约 21%，示意） 对照组 8 个样本：在 PC1–PC2 平面上聚成一团，位于 PC1 较低一侧 处理组 8 个样本：聚成另一团，与对照的分离主要沿 PC1 方向，说明组间差异是最大方差来源 批次 B 的 2 个样本：远离两个生物学组，提示批次效应或质控问题，应优先排查实验记录而非宣布新亚型 对照组 处理组 批次 B 的 2 个样本（离群） 应优先核查批次与质控，而非宣布新亚型 对照组样本（n = 8） 处理组样本（n = 8） 批次 B 样本（离群）
图 4.5-2　主成分分析散点图（示意数据）。约一万维的样本指纹被压缩为平面上的一个点：对照组与处理组沿 PC1 分离，说明组间差异是数据中最大的变异来源；两个批次 B 样本孤悬于两群之外且远离生物学轴，提示批次效应或个别样本的质控问题。PCA 在表达谱分析中最日常的用途正是此类「团外样本」排查与批次效应暴露；悬停各组可见解读要点。
习题 4.5-2

12 个样本（6 对照、6 处理）的 RNA 分两批次提取，每批各含 3 个对照与 3 个处理。PCA 显示：PC1（48% 方差）恰好把两个批次分开，处理与对照组直到 PC2（12% 方差）才分开。(1) 这一结果说明什么；(2) 应采取哪些后续分析与补救措施；(3) 若直接忽略批次继续做差异表达分析，可能产生什么后果。

参考解答

(1) 数据中最大的变异来源是批次而非处理——批次效应的强度超过了生物学差异，PC1 已被批次占据。(2) 回到 4.3 节核对实验设计（批次与分组的平衡、随机化），检查两批的 RNA 质检指标与杂交日期；采用批次校正方法（如在模型中将批次作为协变量，或专门的批次校正算法），校正后重新以 PCA 确认批次维度已不主导前几个主成分；样本量允许时可牺牲批次混杂严重的样本重测。(3) 批次与分组部分混叠时，未校正的差异分析会把批次差异误计入处理效应，产生成批的假阳性（或抵消真实差异）；更隐蔽的是，若批次恰好与分组部分重合，任何后续聚类与分类都会「成功」，却与生物学无关。

4.5.5 有监督分类与模型评估

有监督分类的训练集由成对的样本向量与标签构成。k 近邻(k-nearest neighbors, kNN)是最朴素的一种：对新样本，在训练集中找出距离最近的 k 个邻居，以多数表决决定其标签。它没有显式的训练阶段，全部计算发生在预测时；k 是唯一的超参数——k = 1 时分类边界完全由最近点决定，对噪声极为敏感；k 过大则边界过度平滑，会把邻近的真实结构抹平。kNN 的表现还直接受距离度量与维度影响：在 n ≫ p 的高维空间中任意两点的距离趋于均匀化（维数灾难(curse of dimensionality)的表现之一），近邻的「近」可能名不副实，因此先做特征选择或降维几乎是必需的前置步骤。

生成显式判别规则的方法中，线性判别分析(linear discriminant analysis, LDA)寻找使类间散度与类内散度之比最大的投影方向，投影后以一维阈值分类；支持向量机(support vector machine, SVM)则在所有能分开两类的超平面中选择使两类间隔最大的一条，分类只由落在间隔边界上的少数支持向量决定，直觉上是「最不容易偏向任何一方的分界线」。当两类在原空间线性不可分时，核技巧(kernel trick)通过核函数在原空间内积层面隐式实现向高维空间的映射，使高维空间中的线性边界对应原空间的非线性边界，而计算量不随映射维度增长。表达谱分类早期多用线性核 SVM，其表现与谨慎使用的线性判别相当。

无论采用哪种分类器，p ≈ 10⁴ 个特征面对 p ≈ 10¹–10² 个样本的局面都过于奢侈，特征选择(feature selection)几乎是必经步骤，方法可分三族：过滤式在分类器之外独立打分筛选（如 4.4 节的 t 统计量配合 FDR 阈值），速度快但不考虑特征间的冗余；包装式把子集选择与分类器性能捆绑搜索（如递归特征消除），性能好但计算昂贵、过拟合风险最高；嵌入式在模型训练内部完成选择（如 LASSO 的 L1 罚或随机森林的重要性度量），是两者的折中。与特征选择相对的另一条路是把全部特征压缩成主成分再分类——但 PCA 本身不看标签，压缩可能恰好丢掉判别信息，两种策略各有利弊。

分类器的训练精度不能作为性能证据。规范做法是保留一部分样本作独立测试，或在小样本情形下采用交叉验证(cross-validation)：把样本分成 k 折，轮流以一折为测试、其余为训练，汇总 k 次的预测误差。交叉验证最易犯的错误是信息泄漏：特征选择若在划分之前用全部样本完成，测试折的标签信息便经「被选中的基因」流入训练过程，所得准确率系统性偏高。规范流程是把特征选择放进每一折的训练部分；还需同时选择超参数（如 k、罚强度）时，应采用嵌套交叉验证。

方法

五折交叉验证的操作步骤（以「为 60 例样本构建预后基因签名并估计其准确率」为例）：第一步，将样本分层随机分为五折，每折 12 例，保持两类比例与全集一致。第二步，取第 1 折为测试集，其余 48 例为训练集。第三步，在训练集内部完成全部建模动作——差异打分、特征选择、分类器训练与超参数确定；测试折的任何信息不得参与。第四步，用所得模型预测第 1 折并记录混淆矩阵；依次换第 2 至第 5 折为测试集重复。第五步，合并五折预测（每例样本恰好被预测一次），计算总准确率、灵敏度与特异度，并完整报告流程细节。若还要比较多种建模方案，方案选择本身应再包一层外层循环（嵌套交叉验证）。

警示

训练精度不等于泛化精度。一个经典演示：给 50 个样本随机分配「复发/未复发」标签（与真实生物学毫无关系），在约 2 万个基因中搜索，几乎总能找到一小簇基因把训练集分得完美无缺——当特征数远超样本数时，任何标签都能被某组特征拟合，这是高维空间的组合必然，而非发现。过拟合的几何直观是：自由度越高的模型越有能力弯曲自己的决策边界去迁就每个训练点（包括噪声点）；边界越弯曲，对新样本的普适性越差。因此训练集上 100% 的正确率不携带任何证据；报告的每一个性能数字都必须来自未参与训练（包括未参与特征选择）的数据，最可靠的证据仍然是完全独立的外部队列。

习题 4.5-3

判断下列四个场景分别存在什么问题，或是否成立：(1) 某研究用 40 个样本、2 万个基因训练 SVM，训练集正确率 100%，独立测试集正确率 55%；(2) 先在全部 60 例样本上挑出与标签关联最强的 100 个基因，再对这 100 个基因做五折交叉验证，平均准确率 92%，据此宣称模型泛化精度 92%；(3) 某预后签名在交叉验证中 AUC 为 0.72，外部独立队列中 AUC 为 0.68；(4) k = 1 的 k 近邻分类器在训练集上错误率为 0。

参考解答

(1) 典型过拟合：p ≫ n 时训练精度毫无意义，测试集 55% 接近随机水平，说明模型只记忆了训练集噪声。(2) 信息泄漏：特征选择在交叉验证划分之外用全部样本完成，测试折的标签经入选基因进入训练过程，92% 是系统性高估；正确做法是把选择包进训练折（见本节方法框）。(3) 成立且可信：交叉验证估计与外部验证一致，0.68 的 AUC 虽不亮眼，但反映了真实的泛化能力，这正是规范流程应有的形态。(4) 无信息：k = 1 时每个训练点的最近邻是其自身，训练误差恒为 0，与模型好坏无关。

4.5.6 经典应用与可重复性

方法成熟之后，三项研究迅速展示了表达谱模式发现的临床潜力。Golub 等（1999）对 38 例急性白血病骨髓样本（AML 与 ALL）的寡核苷酸芯片数据做了「类发现与类预测」的双重演示：类发现部分不给算法任何诊断标签，无监督聚类（自组织映射）自动把 38 例样本分为两簇，事后对照临床诊断，两簇与 AML/ALL 高度吻合——样本确实按疾病在表达空间中自然分群；类预测部分用邻域分析选出约 50 个基因构建分类器，在 34 例独立测试样本上，作出判别的 29 例全部正确，其余 5 例因置信度不足被主动拒判。「分子分型」由此进入肿瘤学词汇。

van 't Veer 等（2002）研究的是预后问题：78 例淋巴结阴性、未接受全身辅助治疗的乳腺癌，能否凭原发瘤表达谱预测 5 年内是否发生远处转移？作者以交叉验证在数千候选基因中选出约 70 个基因的预后签名(prognostic signature)，将患者分为高、低复发风险两组，两组的无转移生存曲线截然分开；该签名随后在约 300 例独立病例中得到验证（van de Vijver et al., 2002），并在此后进入前瞻性随机试验 MINDACT 检验（结果发表于 2016 年；原书出版于 2009 年，未及涵盖）——这是表达谱签名从统计曲线走向临床决策的完整路径。Alizadeh 等（2000）则以层次聚类发现弥漫性大 B 细胞淋巴瘤（DLBCL）此前未被认识的两类分子亚型——生发中心 B 细胞样与激活 B 细胞样，两者预后不同，是「从表达谱发现疾病亚型」的范例（另见 4.8 节）。

案例

基因签名的稳定性争议。上述研究发表后，多个小组以重抽样方式检验签名的可重复性：Michiels 等（2005）对七项大型微阵列预后研究做「多重随机验证」——反复抽取不同子集作为训练集重走签名发现流程，发现多数研究的入选基因清单随训练集变动而大幅变化，部分研究的预测优势依赖于特定子集的选择；Venet 等（2011）进一步显示，大量与肿瘤无关的随机基因签名在统计上亦与乳腺癌预后显著相关，提醒「与结局相关」并不稀奇，签名应与合适的零模型比较。学术界的结论并非「签名无用」：基因清单不稳定可能只说明个体基因可以互换而模块信息稳定，且经大样本前瞻验证的签名（如 70 基因签名与 21 基因复发评分）确已进入临床决策。可复述的方法学教训有三：报告签名时应给出训练集扰动下各基因的入选频率；性能估计必须来自完全独立的数据；生物学解释应落在基因集的通路含义，而非逐个基因的叙事。

本节的方法形成于微阵列时代，但其逻辑——距离、投影、以及以泛化误差为准绳的评估——并未因测量平台更替而过时；RNA 测序（4.7 节）产生的计数矩阵在对数变换与标准化之后同样进入这些算法。下一节先回到 20 世纪 90 年代中期，看「以序列本身计数」的标签技术如何在杂交之外开辟另一条定量路线。

关键术语

无监督学习 (unsupervised learning)
仅凭无标签数据寻找内在结构的统计学习设定；聚类与降维为代表任务。
有监督学习 (supervised learning)
从样本–标签对中学习预测规则、并以泛化误差评价的设定；分类为代表任务。
相关距离 (correlation distance)
定义为 1 − r 的相似性度量，只反映表达谱形状的同步性，与绝对幅度无关。
层次聚类 (hierarchical clustering)
逐级合并（或拆分）得到嵌套簇并组织为树状图的方法；分凝聚式与分裂式两族。
链接准则 (linkage criterion)
凝聚式聚类中簇间距离的定义（单/全/平均/Ward），决定树形与簇的形状倾向。
热图 (heatmap)
行列按聚类树重排并着色的矩阵图示；成片色块提示共表达模块或样本分组。
k 均值聚类 (k-means clustering)
以最小化组内平方和为目标的划分式聚类；需预定簇数，对初值与离群点敏感。
主成分分析 (principal component analysis, PCA)
按方差最大原则作线性降维；常用于质控图与批次效应、离群样本的暴露。
k 近邻 (k-nearest neighbors)
以最近 k 个训练样本的多数表决决定新样本标签的惰性分类法。
支持向量机 (support vector machine)
以最大间隔超平面分类的方法；核技巧可处理非线性边界。
交叉验证 (cross-validation)
轮流留折作测试以估计泛化误差；特征选择必须包含在训练折之内以防泄漏。
过拟合 (overfitting)
模型迁就训练集噪声而导致泛化能力下降；特征远多于样本时尤须警惕。

参考文献与延伸阅读

  1. Gibson G, Muse SV. 2009. A Primer of Genome Science, 3rd ed. Sunderland (MA): Sinauer Associates. (Chapter 4)
  2. Eisen MB, Spellman PT, Brown PO, Botstein D. 1998. Cluster analysis and display of genome-wide expression patterns. Proceedings of the National Academy of Sciences USA 95: 14863–14868.
  3. Tamayo P, Slonim D, Mesirov J, Zhu Q, Kitareewan S, Dmitrovsky E, Lander ES, Golub TR. 1999. Interpreting patterns of gene expression with self-organizing maps: methods and application to hematopoietic differentiation. Proceedings of the National Academy of Sciences USA 96: 2907–2912.
  4. Golub TR, Slonim DK, Tamayo P, et al. 1999. Molecular classification of cancer: class discovery and class prediction by gene expression monitoring. Science 286: 531–537.
  5. Alizadeh AA, Eisen MB, Davis RE, et al. 2000. Distinct types of diffuse large B-cell lymphoma identified by gene expression profiling. Nature 403: 503–511.
  6. van 't Veer LJ, Dai H, van de Vijver MJ, et al. 2002. Gene expression profiling predicts clinical outcome of breast cancer. Nature 415: 530–536.
  7. van de Vijver MJ, He YD, van 't Veer LJ, et al. 2002. A gene-expression signature as a predictor of survival in breast cancer. New England Journal of Medicine 347: 1999–2009.
  8. Michiels S, Koscielny S, Hill C. 2005. Prediction of cancer outcome with microarrays: a multiple random validation strategy. The Lancet 365: 488–492.
  9. Venet D, Dumont JE, Detours V. 2011. Most random gene expression signatures are significantly associated with breast cancer outcome. BMC Bioinformatics 12: 364.
  10. Hastie T, Tibshirani R, Friedman J. 2009. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, 2nd ed. New York: Springer.