2.6 分子清洗与标准化：建模前的必要工序

2.6.1 数据为什么是脏的：来源、重复与四类污染

第 2 章前几节默认输入是一张干净的分子图；真实数据几乎从不干净。建模常用的化合物集并非为机器学习而生：它们从专利权利要求、文献数据表、供应商目录与高通量实验记录里拼合而来，各有各的记录习惯。供应商按“能买到什么”登记，目录里多为可溶的盐形式(salt form)；专利按“主张什么”书写，倾向游离碱；文献按原文照录，原作者写哪种就抄哪种；高通量筛选记录的则是孔板里实际加入的样品，常以盐、甚至以混合物形式入库。同一化合物因此以不同面目反复入库：钠盐与游离酸并存、不同质子化状态(protonation state)并存、互变异构体以不同画法并存、立体标注时而明确时而缺失。

问题的实质是等价关系：化学意义上的“同一化合物”是一个等价类，而原始记录不满足这个等价关系——等价的记录长得不一样，不等价的记录有时长得一样。化学数据清洗(chemical data curation)与结构标准化(structure standardization)的任务，就是在建模之前把这个等价关系机械地、可复现地施加到数据上。

污染可以归为四类，见表 2.6-1。前三类是“表示层”的病：分子本身没错，只是写法不统一。第四类是“记录层”的病：结构或标签本身错了——结构张冠李戴（化合物名对应到错误的结构）、活性数值的小数点错位（微摩尔写成纳摩尔，差三个数量级）、单位抄错。表示层的病可以规则化处理；记录层的病没有通用解法，只能靠交叉核对与离群审查发现（Fourches et al., 2010）。

2.6.2 标准化流水线：五个阶段及其顺序

清洗不是一堆可以随意排列的开关：不少操作不可交换，顺序必须验证后写死。下面给出一条针对小分子药物样化合物的示范顺序——它的合法性来自所依赖的 API 与化学策略，不是普适的必然次序（不同实现确有差异：RDKit 的 Cleanup 先做官能团规范化再再电离，FragmentParent 先清理再选主片段；ChEMBL 的公开流水线先规范化后中和，主片段提取是另一组件）。

• 阶段 1
  结构有效性检查：sanitize 全流程（2.1.4）能否通过；不通过者隔离待查，不参与自动修补。
• 阶段 2
  断盐与片段分离：断开金属—配体连接，按规则识别盐与溶剂并保留主体（默认策略是选最大片段，其边界与失败情形见正文）。
• 阶段 3
  电荷中和与再电离：能写成中性形式的改为中性形式，不能者保留并记录。
• 阶段 4
  互变异构规范化：按固定规则集把互变族折叠到一个代表构型，并审查立体信息的变化。
• 阶段 5
  官能团规范化与终检：非标准价写法改为标准形式，重跑 sanitize，生成规范化标识符。

阶段 1：有效性检查

第一道关卡承接 2.1.4 的 sanitize：价态计算、环感知、凯库勒化、芳构化逐项通过，图才有资格称为分子。公共数据集中总有一小部分记录连这一关都过不了——五价碳、六价氮、断键悬空的原子。处置原则是隔离而非硬救：解析失败与超价错误各有日志，人工复核后决定删除或改正。两点分寸要拿捏。其一，sanitize 并非纯“原样检查”：它自带一部分受控的表示修正——五价硝基写法 CN(=O)=O 解析后即被改写为电荷分离的 C[N+](=O)[O-]；已知、可审计、写进文档的修正是工具的一部分，与无依据地“修复”错误结构是两回事，后者等于把错误合法化。其二，通过 sanitize 也不证明结构与实验样品对应——它只说明记录通过了该工具的表示与价规则。

阶段 2：断盐与片段分离

盐在 SMILES 里表现为多个不相连的片段（2.2 节的圆点记法），如乙酰水杨酸钠写作酸根阴离子与 [Na+] 两段。断盐(salt stripping)先断开金属与配体之间的离子型连接，再保留主体、丢弃反离子。两个工程细节直接决定这一步会不会悄悄出错：其一，RDKit 的 LargestFragmentChooser 默认按原子总数（含氢）比较片段——测试输入 CC.O=C=O 默认留下的是乙烷而非三重原子的二氧化碳，要按重原子数比较须在配置里显式声明；其二，“最大”有直接失败情形——甲铵与对甲苯磺酸根组成的盐（主体 2 个重原子、反离子 11 个），默认策略保留的恰是磺酸根。生产流水线因此倾向用明确的盐与溶剂识别规则（ChEMBL 维护专门的盐/溶剂规则文件），对认不出主体的多片段记录标记待查，而不是无条件压成一个最大片段。

断盐的化学前提也要说清。“生物活性通常由游离形式(free form)贡献”是建模约定：测定环境下钠盐、盐酸盐迅速解离，但解离给出的是离子对，到达靶点的物种是否为中性游离形式取决于 pH 与质子转移——盐解离本身推不出“活性物种必然中性”。更要分清两件事：为建模提取共同母体，与断言原始实验对象等价。统一规则只保证处理一致，不保证被删除的信息与预测目标无关——若两个必须区分的对象（标签分别为 1 与 100）被标准化成同一输入，任何只看该输入的确定性模型都无法区分它们。稳妥做法是保留“原始样品—标准化结构—母体分组”的多层映射。共晶与复方、前药与代谢物、金属药物三类显式豁免见下方警示框。

阶段 3：电荷中和

反离子丢掉之后，酸根还带着负电。中和步骤按固定规则再质子化：羧酸根改回羧酸，胺盐改回游离胺。有些电荷无法中和——季铵盐的第四个取代基不是质子，去掉就不再是原分子；这类记录保留原电荷并在报告中登记。还要交代一个局限：测定环境有特定 pH，分子在溶液里的优势电离形态未必是中性形式；中和是“表示约定”，不是物理断言。约定无害，只要全数据集用同一条约定。

阶段 4：互变异构规范化

互变异构对指纹的冲击很大。摩根指纹（2.5 节）以原子邻域为哈希输入，氢的迁移改变受影响原子的氢数、键级、芳香性与相关不变量，环境特征随之改变——实测 2-吡啶酮与 2-羟基吡啶的半径 2 相似度只有约 0.19。但不是“所有特征都变”：两式仍有共享置位，敏感程度随结构、指纹类型与参数而异，不宜从极端例子推广出“近重复检测完全失效”。图 2.6-2 的这对互变体是教科书案例：互变比例随溶剂极性移动，非极性环境偏向羟基式，极性环境偏向酮式（Sitzmann et al., 2010）。互变异构规范化(tautomer canonicalization)的思路是枚举互变族，再按固定规则集选一个代表构型，全族折叠到代表上。但“哪个代表”没有普适答案：优势互变体取决于 pH、溶剂与靶点结合环境，数据库之间也各行其是——Sitzmann 等人对逾亿条记录的分析显示，三分之二以上的独特结构按其规则可能存在互变异构，各库登记的构型并不一致（Sitzmann et al., 2010）。“可能存在互变”是规则口径，不等于该比例的记录是重复或错误。规范化选的是“一致”，不是“正确”；对 pH 敏感的建模任务，有时应保留整族或显式建模电离态。

规范化还有一道必须设的关卡：立体化学。RDKit 的互变枚举默认会删除参与互变的 sp³ 原子上的立体标记（SetRemoveSp3Stereo 默认开启，双键立体也有对应开关）——两种丙氨酸对映体 C[C@H](N)C(=O)O 与 C[C@@H](N)C(=O)O 经默认 Canonicalize 后都变成无立体的 CC(N)C(=O)O。算法枚举了某条互变路径，不等于证明该样品会消旋；把软件为统一代表所作的信息舍弃当成“对映体天然可互换”，会直接冲掉习题 2.6-2 那类区分要求（ChEMBL 的标准化设计就把立体化学可能受影响列为不采用统一互变代表的理由之一）。手性敏感任务应评估 SetRemoveSp3Stereo(False) 等保守选项——关一个开关也不是对所有结构都保证立体无损的万能修复——并在标准化前后审查立体信息变化、保留原始异构结构。同时检查枚举状态：达到最大互变体数、最大变换数或被取消都会记入结果状态，未检查就不宜宣称已完整枚举并统一整族。

阶段 5：官能团规范化

同一官能团常有多种合法却互异的写法：硝基可写成五价的 N(=O)=O，也可写成电荷分离的 [N+](=O)[O-]；重氮、亚砜、胍都有类似的双写法。官能团规范化(functional group normalization)用一组模式改写规则把非标准价写法统一为标准形式，机理上是一族受限的“模式匹配—改写”变换：匹配到非标准子结构，替换为标准子结构，原子数与总电荷不变。两个动机：其一，五价氮写法在部分价规则下过不了 sanitize；其二，即使都能通过，两种写法的指纹与描述符也不同，等于人为制造了近重复。改写完必须重跑 sanitize——改写规则也是会出错的代码。

顺序为什么敏感，又为什么没有唯一答案。操作不可交换是事实：中和与互变规范化的先后会改变互变规则集的适用对象（烯醇负离子不在中性官能团的规则覆盖内）；对多片段记录做官能团改写，会把规则消耗在反离子上。所以顺序必须验证。但“必须验证”推不出“唯一合法次序”：RDKit 与 ChEMBL 的公开流水线在若干步骤上采用了不同的排列，各有明确用途——先统一表示再识别盐与溶剂，完全可以是一种设计。本节的示范顺序服务于“提取中性母体”这一目标；换目标就换顺序。工程纪律是把所选顺序连同理由写进配置，用测试用例（盐、大反离子、互变体、对映体、永久带电结构）验证它，并随版本管理。图 2.6-1 以一条盐记录与一条游离酸记录走完全程为例。

2.6.3 清洗的传导效应：从指纹到划分与评估

不清洗的代价沿着建模链条向下传导。第一站是指纹比较。同一路径的盐形式与游离形式，摩根指纹（半径 2、2048 位）的 Tanimoto 相似度明显低于 1——本例实测 0.6667。原因可以数出来：盐记录多出的钠原子贡献自己的环境特征，被夺走质子的羧酸氧改变了整片邻域的哈希，共享的骨架位再被稀释一轮。定性地说，“同一分子”在未清洗数据里表现为“中等相似的另一个分子”；但一个例子不能证明所有盐—游离对的相似度量级稳定——这取决于盐与主体的相对大小，它也不该被反过来当成去重阈值。

from rdkit import Chem
from rdkit.Chem import AllChem, DataStructs

salt = Chem.MolFromSmiles("CC(=O)Oc1ccccc1C(=O)[O-].[Na+]")  # 记录 A：钠盐
free = Chem.MolFromSmiles("CC(=O)Oc1ccccc1C(=O)O")           # 记录 B：游离酸
fp = lambda m: AllChem.GetMorganFingerprintAsBitVect(m, 2)
print(DataStructs.TanimotoSimilarity(fp(salt), fp(free)))     # 0.6667：同一分子只算“中等相似”
print(salt.GetNumAtoms(), free.GetNumAtoms())                 # 14 对 13：计数混入 Na

第二站是数据划分，两种划分机制的风险不同。逐记录随机划分下，同一分子的多条记录可能分居训练集与测试集，模型答对的与其说是泛化，不如说是认出了熟人（阿司匹林的盐与游离形式 Murcko 骨架同为苯环，正是这类重复的典型）。设某化合物在原始表中有 k 条记录，训练集比例为 q，则至少一条进训练集、至少一条进测试集的概率为

第三站是标签表本身。同一化合物常被多次测定：不同实验室、不同批次、不同年代。但合并的前提先于统计：同一标准化结构不等于同一种测量——汇总单位应是“标准化结构＋靶点与物种＋同类终点＋可比条件”；结合实验、细胞功能实验、毒性实验与理化性质实验不能混进同一个中位数，ChEMBL 对这些类别与靶点映射置信度都有明确区分。条件不同的记录应保留条件作输入、分任务建模，或按预先写定的规则取舍。在通过可比性审查的组内，多条活性取中位数：

清洗的直接后果可以一眼核对：唯一标识符数下降。标准化是确定性映射，原始记录集合经映射后像集的基数不大于原像集——重复被折叠，计数只减不增。

from rdkit import Chem
from rdkit.Chem.MolStandardize import rdMolStandardize

def key(smiles):
    m = Chem.MolFromSmiles(smiles)
    parent = rdMolStandardize.ChargeParent(m)   # 断盐·取主片段·中和（本例适用）
    print(Chem.MolToSmiles(parent))             # 打印中间结构，供逐阶段审计
    return Chem.MolToInchiKey(parent)

a = key("CC(=O)Oc1ccccc1C(=O)[O-].[Na+]")   # 盐记录
b = key("CC(=O)Oc1ccccc1C(=O)O")            # 游离酸记录
print(a == b)   # True：两记录均为 BSYNRYMUTXBXSQ-UHFFFAOYSA-N，唯一计数由 2 降为 1

函数名的迷惑性值得一记：StandardizeSmiles 只做金属断开、官能团规范化与再电离，不含主片段选择、中和与互变规范化——上面的盐经它处理后仍是 CC(=O)Oc1ccccc1C(=O)[O-].[Na+]，InChIKey 与游离酸不同。ChargeParent 在本例恰好覆盖所需（取经中和的主片段），但它同样不是混合物、金属药物与大反离子盐的通用方案。每个阶段打印中间结构、对结果断言（片段数、净电荷、标识符一致），是让清洗可审计的最低要求。

2.6.4 质量审查的实证警示：Trust, but Verify

“清洗很重要”不是修辞，而是被反复量化过的事实。Fourches、Muratov 与 Tropsha 系统审查了公共数据库中的建模数据集，发现无效结构、重复记录（常以不同盐形式与互变异构形式出现）、价态异常与不一致记录在各数据集中占去了不可忽略的份额；他们对数据逐一清洗、重建 QSAR 模型后对比：清洗前后模型的测试集表现出现实质差异，残留错误仍继续压低模型质量。结论浓缩为一句格言——Trust, but verify：数据库可以省去从头测定的成本，但直接拿来建模必须先审查（Fourches et al., 2010）。该工作随后扩展为化学基因组数据清洗的实用指南（Fourches et al., 2016）。

这一支文献也重塑了 QSAR 的方法论规范。Tropsha、Gramatica 与 Gombar 的纲领性论文指出：没有严格验证的构效模型无论拟合多好都不可信——内部交叉验证只是下限，外部测试集验证与 y 随机化对照（打乱标签重训，性能应坍缩到随机水平）才是必要条件（Tropsha et al., 2003）。数据清洗确定输入分子及其标签如何处理，验证则检验模型在指定评估条件下的表现。二者共同影响 QSAR 结论的可信度，处理规则和验证协议都应记录。

2.6.5 流程纪律：固定的规则、入库的脚本与被丢弃者的清单

清洗本身也是代码，也会出错，也在演化。三个纪律由此而来。第一，规则固定并记录版本：断盐阈值、互变规则集、官能团改写表、中和策略，全部写死在配置里，随代码版本管理；工具版本同样要记录——RDKit 的规范化行为跨版本偶有调整，同样的原始数据配不同版本的清洗代码，会得到不同的标准化集。5.2 节会看到，缺少这份版本对应关系，复现就从第一天开始崩塌。第二，清洗脚本与原始数据一起入库：只发布清洗后的数据而不发布清洗规则，他人既无法复现也无法审计；只发布规则而不留原始数据，丢弃了多少分子永远说不清。第三，报告被丢弃者：一份合格的清洗报告至少包含输入记录数、各阶段丢弃或修改的记录数与原因分类（解析失败、超价、多片段、金属断开、互变折叠、重复折叠）、输出唯一分子数，以及规则与工具版本。被丢弃的分子不是噪音，而是数据质量的第一手证据。

2.6.6 与 InChI 的关系：跨库对齐的标准层

清洗流水线为建模准备分子；跨数据库对账还需要一个独立于任何建模工具的标识符。InChI 在生成时自带一层标准化（Heller et al., 2015）：感知到的互变异构被归入“移动氢”处理，质子数差异计入质子化层。使用 InChIKey 判等，先要分清三个对象：完整盐、去掉反离子后的带电主体、中性的母体结构。完整乙酰水杨酸钠的 InChIKey 第一块是 JZLOKWGVGHYBKD，与游离酸的 BSYNRYMUTXBXSQ 并不相同——InChI 对金属连接的处理不等于替使用者删除反离子；图 2.6-1 那样的归并靠的是先做结构处理（断盐、中和）再生成标识符，不是标识符自带的魔法。去掉钠离子后的酸根与游离酸第一块相同，但完整标识符仍以 -M 与 -N 区分质子化状态。

反过来，第一块相同也不足以认定应合并。InChIKey 共 27 个字符，第一块的 14 个字符不含立体化学与同位素信息——乳酸两个对映体的第一块同为 JVTAAEKCZFNVCJ，完整标识符却在第二块分开；只按第一块合并，会与本节习题“分别测定的对映体不应合并”的要求直接冲突。互变覆盖也有边界：Standard InChI 把 2-吡啶酮与 2-羟基吡啶并入同一标识符，却不合并丙酮与其烯醇式——而这对恰能被 RDKit 的互变规范化映射到同一结构；移动氢处理是一组既定规则，不等于任意规则集下的完整互变归并。

所以 InChIKey 第一块的正确角色是候选匹配与粗分组：第一块相同者进入复核清单，最终是否合并要同时核对盐组分、立体化学、同位素、质子化状态与实验对象的预先定义，并保留原始结构供复核。2.2 节讨论过各家 canonical SMILES 互不相认；InChIKey 把“同一分子”压缩成十四个字符的连接层，库与库之间的对账才有了共同语言——但它是入口，不是判决。对 pH 敏感的对齐任务还有 FixedH 等非标准选项保留特定互变异构。结论与 2.6.2 一致：标准化永远在“一致”与“保真”之间取舍，关键是选定一套规则、写明版本、贯彻到底。下一节转向另一类“不唯一”——化学反应的表示。