1.3 数据与评估：MoleculeNet 与骨架划分

1.3.1 基准数据集：MoleculeNet 全景

机器学习方法的进展靠比较说话。若各课题组各用各的数据、各报各的数字，方法之间便无从比较。基准数据集(benchmark dataset)把样本、任务与指标固定下来，让不同模型在同一块试金石上接受检验。2018 年，Wu 等人发布 MoleculeNet，把散落在文献与公共数据库中的分子性质数据整理成统一格式，覆盖逾 70 万个分子，并随 DeepChem 提供加载与划分工具（Wu et al., 2018）。它至今仍是分子机器学习引用最多的基准套件。

MoleculeNet 按性质来源把数据集分为四组（表 1.3-1）：量子力学、物理化学、生物物理与生理学。分组并非形式——同组数据集的标签由同类实验或计算产生，噪声结构相近，可比性高；跨组比较则须先回答一个问题：标签本身可信到什么程度。下一小节专门讨论此事。

表中 12 个数据集合计约 74.6 万个分子，其中 PCBA 一家占近六成。这提示一个常被忽略的事实：基准上的"平均成绩"对个别大数据集高度敏感，分组报告比只报总分更稳妥。另需说明，后续的清洗、去重与版本更新会使各家复现的数字略有出入，同表比较时应统一口径。

1.3.2 标签从哪里来：噪声的层级

四组数据集最本质的差异不在分子多少，而在标签如何产生。量子力学组（QM8、QM9）的标签由量子化学计算给出：固定泛函与基组后结果可精确复现，没有随机测量噪声，只有方法本身的系统偏差。对这组数据，均方根误差(root-mean-square error, RMSE)可以直接对照化学精度的量级来谈论。

物理化学组（ESOL、FreeSolv、Lipophilicity）的标签来自实验测量：溶解度、水合自由能、脂溶性各有测定误差，量级约在零点几个对数单位或每摩尔千卡之间。指标仍以 RMSE 为主，但"RMSE 降到 0.5"是否已经摸到实验本身的可重复性上限，须先查清测定误差再下结论。

生物物理组（HIV、PCBA、MUV）与生理学组（BBBP、ClinTox、SIDER、Tox21）的标签是二分类，惯用 ROC 曲线下面积(area under the ROC curve, ROC-AUC)。生物物理组的数据出自高通量筛选(high-throughput screening)：读数受荧光干扰、分子聚集等假阳性机制影响，同一分子重复测定也可能翻转标签。MUV 的设计者更是刻意挑选"最难"的活性与非活性组合，每任务活性分子仅数十个，类别失衡达千分之一量级，因此 MoleculeNet 对它改用 PRC-AUC，看重排序顶端的查准而非整条曲线。生理学组的标签来自临床试验与药物标签文本，记录的是未受控条件下的人体结果：个体差异、合并用药与报告偏差都写进了标签。

指标的选择因此不是技术细节，而是对"什么算预测得好"的回答：连续量配误差棒，用 RMSE；筛选关心排序，用 ROC-AUC；正例稀少时，用 PRC-AUC。同样一个 0.8 的 AUC，放在量子力学组是彻底失败，放在生理学组可能已逼近标签噪声决定的上限（ceiling）。跨组比较数字之前，先比较标签的可信度。

1.3.3 稀疏标签矩阵与权重掩码

多任务数据集把数据的组织方式从"一张表"变成"一张矩阵"：行是分子，列是任务，单元是标签。PCBA 有 128 列测定，但没有任何分子被 128 个实验全部覆盖——每个筛选只测试了部分化合物，矩阵里于是出现大量空白。多任务学习(multitask learning)正是想利用这种矩阵：任务之间共享化学结构信息，单个分子的标签虽只覆盖几列，千万个分子合起来仍能让模型学到跨任务的规律（Ramsundar et al., 2015）。

空白单元的含义是"未测定"，不是"无活性"。若把缺失一律填 0，模型会学到一条系统性的错误规律：凡某实验未覆盖的分子都算负例。这个偏倚由实验设计决定——化合物可得性、筛选批次、项目取舍——与化学本身无关。权重掩码(weight mask)是标准对策：为每个单元配一个 0/1 权重 w_ij，标签有效取 1，缺失取 0，训练与评测都只对有效单元求和：

指标同样只在任务内的有效标签上计算，再做加权平均：

DeepChem 的多任务模型在实现上正是这一对公式：掩码既进损失，也进指标。第 3.7 节将结合具体接口说明其工程细节，此处先记住原则即可——缺失不是零。

1.3.4 Bemis–Murcko 骨架

评估协议的核心概念是骨架。Bemis 与 Murcko 在 1996 年提出一套分子分解方法：把分子拆成环系、连接链与侧链三部分；环系是全部环原子与环键，连接链是夹在环系之间、把分子连成整体的最短路径上的原子与键，其余部分一律是侧链（Bemis & Murcko, 1996）。分子骨架(scaffold)就是环系与连接链的并集：删除全部侧链，剩下的就是骨架。图 1.3-1 给出示意。

Bemis 与 Murcko 对 5,120 个上市药物做此分解，只得到 1,179 个不同骨架；其中 32 个最常见骨架覆盖了约一半药物。这个统计揭示了药物化学的基本事实：化学空间的利用高度集中，药物分子在骨架意义上成族聚集。基准数据集同样如此——同一课题组的构效关系研究会把成批类似物写进文献，数据集因此富含"同族系列"。第二章将介绍的 RDKit 提供骨架抽取的标准实现，此处先记住定义。

1.3.5 划分协议的谱系：随机、属性排序与骨架

随机划分(random split)把分子按独立同分布假设随机分入训练与测试集，是机器学习的默认做法。它暗含一个前提：测试分子与训练分子来自同一分布，结构族的构成相同。在此协议下取得高分，证明的是插值(interpolation)能力——在同族分子的小改动之间内插。

第二类做法按某个连续属性排序后切分：把分子按 LogP、分子量或标签本身排序，训练集取一端，测试集取另一端。这类属性排序划分(property-sorted split)在溶解度等回归研究中常见，考察的是外推(extrapolation)能力沿属性轴的表现：模型须预测比训练时"更油"或"更大"的分子。它与骨架划分容易混淆——两者都比随机划分难，成绩下降的来源却完全不同：前者是属性区间外推，测试分子可能仍是老骨架；后者是结构族外推，测试分子换用新骨架。中文文献笼统说"更难的划分"时，务必先分清难在哪条轴上。另有一层陷阱：若按标签本身排序切分，切分动作本身就把训练与测试的标签分布拉开，成绩下降更多反映任务定义变化，而非模型退化，报告时必须注明。

骨架划分是第三类，也是 MoleculeNet 明确纳入基准套件、并随 DeepChem 提供实现的一类（Wu et al., 2018）。它以骨架为最小单位整体划侧，测试集只含新骨架，直接模拟药物发现的真实处境：下一个项目面对的往往是全新的结构族。图 1.3-2 对比三种协议下训练与测试的结构重叠。

三种协议没有对错，只有问题不同：随机划分问"同族内微调能预测多准"，骨架划分问"换一个环系还行不行"。给数字必须同时给协议，脱离协议的 AUC 不携带信息。

1.3.6 随机划分为何虚高

随机划分的毛病可以用一条机理讲清。1.3.4 节说过，基准数据集富含同族系列：同一骨架上换几个取代基的类似物成批出现。随机抽样会把一个系列的成员同时分进训练集与测试集，于是测试分子在训练集里常有近重复(near-duplicate)——骨架相同、只差一两个取代基的兄弟分子。模型要做的不再是学习"结构如何决定性质"，而是记住"这个家族的基线，再做微调"，本质是查表加插值。1.2 节的分子指纹正是查表的理想索引：按 Tanimoto 相似度即可在训练集中找到近邻。表示越灵通，查表越准，随机划分的成绩也越好看。

做一个量化的思想实验（数字为设定，非实测）。设某数据集随机划分后，80% 的测试分子在训练侧有同骨架近重复；对这些分子，查表式预测的 ROC-AUC 可达 0.95。其余 20% 依赖真实的跨骨架泛化，设其 AUC 为 0.65。随机划分报出的成绩是 0.8 × 0.95 + 0.2 × 0.65 = 0.89；换到骨架划分，查表通道关闭，成绩回落到 0.65 附近。二十四分之差不是模型之差，而是协议之差。文献里随机划分与骨架划分之间的常见落差，多半由此而来。

1.3.7 时间划分、双重外推与数据泄漏

比骨架更严的一条轴是时间。真实项目里，模型今天训练、明天使用，面对的是尚未合成的新分子。时间划分(time split)按分子首次测定或首次发表的年份切分：早期分子训练，晚期分子测试，模拟前瞻式使用。Sheridan 对多个药物数据集的系统比较表明，时间划分的估计普遍低于随机交叉验证，也更接近模型投入实际使用后的表现（Sheridan, 2013）。两条外推轴可以叠加：按时间排序后再按骨架分组切分，得到"时间 + 骨架"双重外推，难度接近"明天的全新化学空间"，适合作为方法发表前的自查协议。

工业实践里还有第三重检验：应用内评估。虚拟筛选(virtual screening)的最终产出不是基准分数，而是对整个库存或可购化合物库的排序，以及顶端分子的湿实验命中率。富集因子(enrichment factor)——顶端 1% 的命中率相对随机比例的倍数——与合成、测试的成本收益直接挂钩。基准 AUC 只是代理指标；一个模型若在公开基准上略逊、在自有化合物库上排序更合理，工业上会选后者。

上述所有问题的共同名字是数据泄漏(data leakage)。正式定义：凡在模型实际使用的时刻不可获得、却以任何途径进入训练过程且与标签相关的信息，都构成泄漏。它在分子数据里有三副面孔。其一，重复分子：同一化合物以不同盐型、不同互变异构体或不同数据库条目出现，合并数据时未去重，等于把答案抄进训练集。其二，近重复骨架：随机划分放行的同族类似物，即上节的查表通道。其三，目标标签泄漏：特征本身携带标签信息——例如把测定批次、阳性对照比例这类实验元数据当作输入，或使用了只有在知道结果之后才能算出的描述符。三种面孔的对策各不相同：重复靠规范化标识（如 InChIKey）去重；近重复靠骨架划分；目标泄漏只能靠逐个审查特征在部署时刻是否真的可得。第二章的 SMILES 规范化与第三章的数据加载器，会把前两类对策落到具体工具上。