LLMs预测分子性质时，知道自己错了吗？

大语言模型（LLM）在多个领域展现出强大能力，但在分子性质预测这一任务上，它们是否可靠？一项新研究系统评估了7个前沿LLM在上下文学习（in-context learning）中预测分子性质的能力，并特别关注模型自报的不确定性是否与预测错误相关。研究发现，在干净数据集上，LLM能利用上下文示例提升准确性，甚至超越传统基线；但模型自报的不确定性对错误的排序能力较弱，且对于记忆过的数据集，模型会表现出过度自信。

研究设计：评估LLM的分子性质预测与不确定性

研究选取了7个前沿LLM，在4个分子数据集上进行实验。每个数据集都经过污染筛查，以判断LLM的训练数据中是否包含这些分子。结果三个数据集是干净的，第四个ESOL数据集则被多数模型记忆，作为对照。实验要求模型根据上下文示例预测分子性质，并同时报告自身的不确定性。研究还比较了经典基线模型（在相同分子上训练）的表现。

上下文学习（In-context Learning） 指模型无需更新参数，仅通过提示中提供的少量示例（即“上下文”）来推断新任务输入对应输出的能力。在分子性质预测中，研究者将若干“分子-性质”对作为示例放入提示，再要求模型预测新分子的性质。这种范式依赖模型从示例中识别任务模式，而非通过梯度下降学习。其效果受示例数量、质量及排列顺序影响，且可能因模型规模、预训练数据分布而异。本研究中，上下文示例数量从0到30不等，用于观察模型能否像传统机器学习模型一样从示例中获益。

上下文学习显著提升准确性，但推理努力影响甚微

在三个干净数据集上，所有LLM的预测准确性都随上下文示例数量的增加而提升。当提供30个示例时，表现最好的LLM超过了所有基线模型。这表明LLM能够从上下文示例中学习分子性质预测的规律。

研究还考察了要求模型进行更多推理（reasoning effort）是否影响准确性。结果显示，改变推理努力对准确性影响很小。这意味着模型可能并未通过显式的推理步骤来提升预测，而是依赖于模式识别。

推理努力（Reasoning Effort） 在此类研究中通常指通过提示要求模型在给出答案前进行显式的逐步推理（如“让我们一步步思考”），或调整模型生成时的计算预算（如思维链长度、采样次数）。本研究发现，增加推理努力对分子性质预测准确性影响甚微，暗示模型可能主要依赖对上下文示例的模式匹配，而非显式的化学推理。这与传统观点——即复杂科学任务需要多步推理——形成对比，提示当前LLM在分子性质预测上可能走的是“浅层”启发式路径。

自报不确定性对错误的排序能力有限

模型自报的不确定性在排序预测错误方面的能力较弱，Spearman等级相关系数最高仅为0.46。这一水平与基线模型的不确定性估计大致相当。也就是说，LLM虽然能报告不确定性，但这种不确定性信号并不足以可靠地区分正确与错误的预测。

Spearman等级相关系数 是一种非参数统计量，用于衡量两个变量的秩次之间的单调关系，取值在-1到1之间。在本研究中，它被用来评估模型自报的不确定性分数与预测绝对误差之间的排序一致性：系数越高，说明不确定性越能区分错误大小。最高仅0.46表明模型的不确定性信号只能部分反映错误程度，远未达到可靠错误检测所需的水平（通常希望>0.7）。作为参照，传统基线模型的不确定性估计也大致在此水平，说明LLM并未展现出超越经典方法的不确定性量化能力。

结合不确定性与预测：部分场景媲美基线

研究进一步探索了结合不确定性与预测结果的方法。在亲脂性（lipophilicity）数据集上，当上下文示例较少时，表现最好的LLM中最确定的那一半预测最为准确；而在BACE和抗病毒（antiviral）数据集上，以及亲脂性数据集上上下文示例较多时，最佳LLM的表现与最佳基线相当。这说明在特定条件下，LLM的预测结合其不确定性信息可以达到实用水平。

记忆数据导致过度自信

在受污染的ESOL数据集上，LLM的准确性并未随上下文示例增加而提升，这符合记忆数据集的预期。更说个细节，对于模型能够回忆出正确值的分子，它们报告的不确定性更小。这表明当模型依赖记忆而非上下文学习时，会表现出过度自信，可能给出错误但高置信的预测。

数据污染（Data Contamination） 指评估所用数据可能已出现在LLM的预训练语料中，导致模型并非真正“学习”而是“回忆”答案。本研究通过污染筛查将ESOL数据集标记为被多数模型记忆，从而作为对照。记忆会导致两个问题：一是准确性不再随上下文示例增加而提升，因为模型直接调用记忆；二是模型对能回忆出的分子报告更低的不确定性，即过度自信。这种现象在科学评估中尤为危险，因为高置信的错误预测可能误导下游决策。因此，在评估LLM的科学能力时，必须进行严格的污染筛查，并区分“学习”与“记忆”两种机制。

结论与启示

这项研究揭示了LLM在分子性质预测任务上的潜力与局限。在干净数据上，LLM能通过上下文学习达到甚至超越传统基线，但自报的不确定性信号较弱，难以单独用于错误检测。对于记忆过的数据，模型会过度自信，这提醒我们在实际应用中需谨慎对待模型的不确定性估计。未来可能需要结合外部校准方法或开发更好的不确定性量化技术，以提升LLM在科学预测任务中的可靠性。