评价需要同时说明正确率和覆盖范围
先固定答案定义、数据划分和分母，模型成绩才可以解释。
读图时保留这项条件：筛除难样本会提高条件正确率，但可能降低对全部输入的成功覆盖。
让置信分数、正确率和覆盖率一起接受检查
切换同档置信度、同清单调整和选择性输出，再改变拒绝阈值。
9.10.1 评价要先规定“正确”的对象
自动解析的评价对象可以是分子式、连接图、相对构型、绝对构型、峰与原子的归属或若干候选。应在看结果前确定对象及等价规则。连接图相同但 SMILES 字符串不同，可以是同一分子；反之，只保留连接、删除立体信息的表示相同，不能证明立体结果正确。盐、质子化形式和互变异构也需按任务约定处理，不能事后为了提高分数才合并。
展开说明与推导
普通非手性核磁条件不能单凭相同位移区分对映体，所以测试标签若含绝对构型，应说明额外信息来自哪里。把这类标签交给模型，并得到某一个对映体标签的高分，可能反映先验或数据偏好。评价应与观测可辨识的层级一致，必要时分别报告连接正确、相对构型正确以及有独立依据的绝对构型正确。
对峰指认还需定义可接受的等价交换。两个化学等价质子互换编号，不应按两个错误计数；两个非等价但重叠的质子，也不能因为位移相同就合并为一个可随意交换的标签。先建原子映射，再计算指认数，才可区分结构预测正确但归属错误、以及局部归属正确而整体连接错误。
测试集标签用于计分，实验可辨识性决定结论的范围。模型碰巧选中标签，不补足未测的连接或立体证据；评价协议应把这些范围写在指标之前。
9.10.2 从记录划分到结构和条件划分
随机分记录最容易实施，也最容易把同一个分子的不同谱、溶剂记录或模拟变体放进训练与测试两边。模型此时可能识别熟悉结构的另一种表示。若目标是评价未知结构，就应先按统一后的结构标识分组，再分配整组记录。重复来源的同一谱及从它生成的增强样本，也要随父记录一起分配。
展开说明与推导
骨架划分进一步把规定的共同骨架归为一组，考察模型遇到新化学骨架时的表现。它与按分子去重回答不同问题：去重防止同一个结构跨集合，骨架划分减少相近骨架跨集合，但仍可能共享官能团、片段和谱规律。MoleculeNet提供了多种分割任务的基准思路，分子分类冗余研究说明结构相似性会影响表面性能。这些是分子学习的一般依据，具体核磁任务还需自己的核验。
条件划分则检验在指定条件变化下的推广。例如训练只含一种溶剂而测试另一种，或按实验来源、仪器频率、采集时间分组。条件变化和结构变化可以同时发生，此时下降不能单独归因于溶剂。应保留结构相同但条件变化、结构变化但条件相近等可解释子集，并说明样本数量是否足够。
展开说明与推导
预处理也会泄漏。用全部数据估计归一化参数、用测试标签选择位移匹配阈值，或者看到测试错误后重新挑选候选，都使测试参与了调优。数据整理允许检查格式和重复，但任何依赖结果标签的选择应限定在训练或验证阶段，最终测试协议在运行前冻结。
9.10.3 模拟域与实验域为何会分开
模拟谱可以大量生成并保留准确结构标签，但生成器会规定位移误差、线宽、耦合处理、噪声和采样方式。真实谱还有参考偏差、相位、基线、溶剂峰、交换、混合物和缺峰。若训练和测试都来自同一生成器，分数主要说明模型适应这套生成规则，不能直接推成实测谱准确率。
展开说明与推导
实验域也不是一个统一集合。从文献抄录的一组位移，往往已经经过研究者挑峰和去杂；实际仪器输出的谱，需要先判断处理是否可靠。一个在整理峰表上表现好的方法，可能并不包含拾峰和杂质识别阶段。应分别评价输入整理和结构推理，记录人工修改了哪些字段及使用了多少标签知识。
可设计三条独立路线：同一模拟器内测试用于排查实现；换模拟参数或生成方法测试用于检查规则敏感性；独立实验样品测试用于判断实际输入域。三者逐步扩大问题，却不是前一项通过就自动保证后一项。实验集应按来源和条件分组，并报告无法输入、超出元素范围及谱质不足的记录。
NMRGym强调整理核磁数据及骨架划分，为这种检查提供了具体研究背景。自己的评估仍需核对每条记录的来源；数据库名、论文中的“实验数据”总称或一张标准格式表，不能代替字段级来源审查。对没有原始谱的资料，应保留这种限制。
9.10.4 候选召回、结构正确与指认正确
候选前 k 项正确率按每个样品是否在前 k 个唯一候选中出现正确结构计数。先规范重复候选，再限制候选数；一个正确结构被生成十次不增加覆盖。无结果、程序失败和超时不能悄悄删除，应按预先约定计为未解决，同时给出失败类型。若只评价可运行子集，须同时报告上一节的覆盖率。
展开说明与推导
在二十个教学样品中，正确结构有八个排第一，四个排第二至第五，两个排第六至第十，其余六个没有进入前十。于是首项正确率为八除二十，即百分之四十；前五项为十二除二十，即百分之六十；前十项为十四除二十，即百分之七十。这是合成排名清单的计算，不是模型性能。增大 k 提高了找回答案的机会，也增加了后续核验成本。
如果一个结构的八个可计分峰中六个指认正确，峰指认比例为百分之七十五。它不能与上述结构首项正确率平均成一个“综合准确率”，因为单位不同。还应报告峰是氢还是碳、是否按等价组计数、是否允许未指认，以及同一个大分子是否因峰数多而压倒多个小分子。按全部峰计数与先按分子平均，回答不同问题。
位移回归可用平均绝对误差和均方根误差，但先规定匹配和参考校正。对已知结构逐原子比较与未知结构最佳匹配不是相同难度。一个连错键的候选可能通过重新匹配得到较小位移误差，因此最终报告需要并列结构层级、归属层级与谱残差，保留彼此不一致的记录。
9.10.5 置信分数如何接受检验
语言模型的措辞强弱、生成序列的对数概率及候选打分都不是天然校准的“正确概率”。校准要求在相似预测概率的样品中，实际正确比例与所报概率接近。神经网络校准研究提供了检验与后处理的基本思路；将其用于核磁解析时，还要先定义什么算正确，并使用独立于最终测试的校准资料。
展开说明与推导
设二十个教学结果都报告首项正确概率零点九，实际只有十二个首项正确。该组观测比例为零点六，平均所报概率与观测差零点三。这个结果说明该小组过于自信，但只有一个概率档位，不能描述模型全范围的校准曲线，也不能保证另一批样品仍有相同差值。
展开说明与推导
这里 BS 是“首项是否正确”这一二元事件的 Brier 分数。十二个正确、八个错误时，恒报零点九的分数为［十二乘零点一平方加八乘零点九平方］除二十，即零点三三。恒报零点六则为零点二四。后者在这份清单上更符合整体频率，却没有区分哪一个样品会错；校准与排序能力应分开评价。
展开说明与推导
多档位可靠性图应给每档样本数，不能只画折线而省去稀少样本造成的不稳定。误差条与重采样也要以独立分子或来源组为单位，不能把同一分子的十个增强谱当成十次独立证据。针对未见骨架或新条件的置信度，应单独检查；训练域中的良好校准不自动跨域保持。
9.10.6 拒绝判断要连同覆盖率报告
拒答策略可以只在预定置信阈值以上给出首项判断，其余保留候选或要求补充实验。选择性分类研究把这种选择写成风险与覆盖的权衡。核磁场景还应允许因输入缺失、超出模型元素范围或存在未解决硬矛盾而拒答，这些理由未必能用一个概率数值概括。
展开说明与推导
另建二十个教学结果：十个分数零点九，其中八个正确；十个分数零点六，其中四个正确。阈值零点八保留前十个，覆盖率百分之五十，保留部分准确率百分之八十。全部结果原本十二除二十正确，即百分之六十。保留部分较准，并没有使被拒绝的十个样品消失，也没有让完整工作流自动解决更多样品。
阈值应在验证资料上选择，最终测试保持固定。不能先看测试错例，再挑一个刚好排除它们的阈值；这会把拒答变成另一种标签泄漏。应报告覆盖率、保留部分错误率、未解决数量以及后续人工或实验成本。若后续补谱能解决部分拒答记录，再独立记录补谱后结果。
用训练数据拟合模型，用独立验证或校准数据选设置和阈值，用冻结的测试判断推广表现。样本不足时可用适当交叉验证，但各折的预处理、调参和测试职责仍需隔开。
展开说明与推导
可审查的评价报告应保留逐样品结果，包括规范标签、组号、输入条件、候选、置信值、成功或失败原因。将结果与原谱及程序版本对应，才能检查是缺峰、库外骨架、错误归属还是环境失败。下一节把“未解决”变成有目标的补充实验，而非用更强的语言给同一候选增加置信度。
总体平均可能遮住核种、骨架、来源与样品条件差异。应同时给关键子组和失败清单；不把一次模拟清单的校准或拒答改善宣布为真实核磁模型的通用保证。
9.10.7 习题与解答
习题9.10-1 增强数据的划分
同一原谱加三种噪声后，随机把两种放训练、另一种放测试，能评价未知分子推广吗？
解答不能。派生记录共享父谱和结构，主要测试同一记录变化。应先按父谱及结构分组，再按研究目标增加骨架或条件划分，所有增强记录随父组分配。
习题9.10-2 计算Brier分数
十个结果恒报概率0.8，八个正确、两个错误。计算本节二元Brier分数，能据此证明整个模型校准吗？
解答［8×0.2²+2×0.8²］/10=0.16。该组平均概率与观测比例相同，但只有一个档位、十个样本；不能证明所有概率或新条件中的校准。
习题9.10-3 拒答后的分母
阈值策略在二十例中保留十例，答对八例。为何不能仅报告80%？
解答80%是保留部分准确率，应同时报告50%覆盖率及十个未解决例。完整清单成功比例此阶段为8/20=40%；其余例的后续实验或人工判断需要另计。
9.10.8 术语
- 结构划分
- 把同一规范结构的记录整组分配到集合。
- 条件划分
- 按来源、溶剂或采集条件分组检验推广。
- 数据泄漏
- 测试信息进入训练、调参或选择过程。
- 域差异
- 训练与应用资料的生成机制或分布差异。
- 前k项正确率
- 前k个规定候选含正确结构的样品比例。
- 指认正确率
- 按规定等价规则正确映射的峰或原子比例。
- 概率校准
- 所报概率与对应实际事件频率的符合程度。
- Brier分数
- 概率预测与事件指标间的平均平方差。
- 选择性判断
- 按预定规则只对部分样品作判断。
- 风险与覆盖
- 保留部分错误风险和处理样本比例的共同评价。
9.10.9 参考文献
- Wu Z, Ramsundar B, Feinberg E N, et al. MoleculeNet: a benchmark for molecular machine learning. Chem Sci, 2018, 9:513–530（2017在线发表）. 分割与指标原文。
- Wallach I, Heifets A. Most Ligand-Based Classification Benchmarks Reward Memorization Rather than Generalization. J Chem Inf Model, 2018, 58:916–932. 结构冗余研究。
- Guo C, Pleiss G, Sun Y, Weinberger K Q. On Calibration of Modern Neural Networks. PMLR, 2017, 70:1321–1330. 校准研究。
- Geifman Y, El-Yaniv R. Selective Classification for Deep Neural Networks. Advances in Neural Information Processing Systems, 2017, 30. 风险与覆盖原文。
- Fang Z, Yang C, Yu H, et al. NMRGym: A Comprehensive Benchmark for Nuclear Magnetic Resonance Based Molecular Structure Elucidation. Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2, 2026. 核磁基准研究。