无需调参的表格基础模型，正在挑战高斯过程在材料发现中的统治地位

当贝叶斯优化遇上材料发现：高斯过程的“默认选项”地位被动摇

在材料科学的主动学习循环中，贝叶斯优化长期扮演着核心角色。它通过代理模型（surrogate model）对昂贵的实验或模拟结果进行预测，并指导下一轮实验方向。高斯过程（Gaussian Process, GP）几乎是这一流程中的默认选择——它提供不确定性估计，数学框架成熟，在大量文献中被验证有效。

但高斯过程并非没有代价。它要求使用者根据具体任务选择合适的核函数（kernel），而核函数的选择往往依赖领域经验，且不同材料体系的最优核可能差异巨大。此外，面对复杂的构效关系，GP的建模能力有时显得不足。

一篇来自arXiv的最新研究提出了一个值得关注的替代方案：直接用表格基础模型（Tabular Foundation Models, TFMs）作为贝叶斯优化的代理模型，无需核函数选择，也无需针对主动学习任务做额外训练。

什么是表格基础模型？

表格基础模型是近年来在结构化数据预测任务上兴起的一类模型。与传统的树模型或高斯过程不同，TFMs在大规模表格数据上预训练，能够直接对新的表格任务进行预测，而不需要针对每个任务重新设计特征或调整超参数。

研究中评估了两个代表性的TFMs：TabPFN和TabICL。TabPFN基于Transformer架构，通过在大规模合成表格数据上的预训练获得泛化能力；TabICL则是另一类针对表格数据设计的基础模型。两者的共同特点是“开箱即用”——给定训练数据，直接输出预测，不需要核函数工程或繁重的超参数搜索。

这与高斯过程的使用方式形成鲜明对比。GP需要选择核函数类型（如RBF、Matern等）、调整长度尺度等超参数，而TFMs将这些决策内化到了预训练阶段。

TabPFN的核心思想源自“先验数据拟合网络”（Prior-Data Fitted Network）。它并非在训练阶段学习某个特定数据集的模式，而是通过在海量合成的表格数据集上预训练，学习到一个从训练集到预测函数的“元映射”。在推理时，给定一个小规模训练集和测试点，TabPFN通过一次前向传播即可输出预测分布，无需梯度更新。这种设计使其天然具备不确定性估计能力，且对超参数不敏感。TabICL则采用了不同的架构思路，通常结合了上下文学习与表格特定的归纳偏置，以处理更大规模或更复杂的表格任务。两者共同代表了“基础模型”范式向表格数据领域的延伸，其关键突破在于将传统上需要人工设计的模型选择与调优过程，转化为预训练阶段的一次性投入。

实验设计：两个材料科学基准上的正面交锋

研究者在两个标准的材料科学基准数据集上对比了TFMs与一大类基线模型。基线覆盖了高斯过程、随机森林和CatBoost等主流方法，构成了一个相当全面的对比场。

评估的核心问题是：在不针对主动学习任务做特定训练、也不进行GP核函数选择的前提下，TFMs能否作为有竞争力的代理模型？

实验设计的关键在于“开箱即用”这一约束。这意味着TFMs没有被额外微调，也没有针对材料发现任务做任何适配。如果在这种条件下仍能取得与精心调优的基线相当的表现，就说明TFMs具备作为通用代理模型的潜力。

结果解读：TFMs的竞争力从何而来

研究的核心发现是：在两个基准上，TFMs都表现出了高度竞争力，且无需任务特定的训练或GP核函数选择。

这一结果的意义可以从几个层面理解。

第一，降低了使用门槛。 材料科学家在使用贝叶斯优化时，不必再花费大量精力在核函数选择和超参数调优上。TFMs将这部分工作前置到了预训练阶段，使用者只需提供数据即可获得预测。

第二，建模能力的差异值得关注。 论文指出高斯过程“可能缺乏对复杂关系的建模能力”。材料数据中的构效关系往往高度非线性且涉及多尺度交互，TFMs基于大规模预训练获得的表示能力，可能在这方面具有优势。

第三，这并非否定高斯过程。 研究者的表述是“高度竞争力”（highly competitive），而非全面超越。GP在不确定性量化方面的理论保证和成熟工具链仍是其优势。TFMs的定位是提供一个强有力的替代选项，尤其是在使用者不愿或无法投入核函数工程的场景下。

贝叶斯优化中的采集函数（acquisition function）负责权衡探索与利用，常见的有期望改进（EI）、置信上界（UCB）和汤普森采样等。这些函数直接依赖代理模型输出的预测均值与不确定性。高斯过程因其解析形式的不确定性量化而天然适配，而TFMs作为神经网络类模型，其不确定性估计通常来自预测分布的参数化输出或集成方法。若TFMs的不确定性校准不佳，采集函数可能偏向过度探索或过早收敛。因此，评估TFMs在贝叶斯优化中的实际价值，不能仅看预测精度，还需检验其不确定性在主动学习循环中是否能有效引导实验选择。这也是论文指出需要进一步发展的方向之一。

对材料发现工作流的潜在影响

如果TFMs的竞争力在更多基准上得到验证，材料发现中主动学习的实践方式可能会发生变化。

目前的典型流程是：选择一个GP核函数 → 训练代理模型 → 通过采集函数选择下一轮实验 → 更新数据并重复。核函数的选择往往在项目早期就固定下来，后续调整成本较高。TFMs的引入可以简化这一流程，让代理模型的选择不再成为瓶颈。

论文的结论也指向了后续方向：研究结果“motivate developing TFMs further as surrogates for active learning in materials discovery”——即值得进一步发展TFMs，使其成为材料发现中主动学习的代理模型。这暗示当前的TFMs仍有改进空间，尤其是在主动学习场景下的不确定性估计和采集函数适配方面。

需要审慎看待的地方

这项研究的评估范围是两个标准基准。材料科学的多样性意味着 benchmarks 覆盖的体系有限，TFMs在更广泛材料类别上的表现仍需验证。此外，贝叶斯优化的核心不仅在于预测精度，还在于不确定性估计的质量——这直接决定采集函数的效果。论文摘要未详细展开TFMs在不确定性量化方面的表现，这是读者需要关注原文细节的地方。

另一个实际问题是推理成本。TFMs基于Transformer架构，在大数据集上的推理开销与GP相比如何，需要结合具体规模判断。论文摘要未涉及这一维度，但在实际材料发现流程中，代理模型需要在每轮迭代中快速更新和预测，成本因素不可忽视。

材料科学中的基准数据集通常规模有限（数十到数百个样本），这与TFMs预训练时接触的大规模合成数据存在分布差异。虽然TFMs被设计为对小样本任务友好，但材料数据的异质性——如晶体结构、成分空间和合成条件的高度多样性——可能超出预训练分布的范围。此外，主动学习的每一轮迭代都会新增数据点，TFMs能否在增量数据上保持稳定的预测性能，而不需要重新训练或微调，是实际部署中的关键问题。现有基准测试多采用固定数据集进行离线评估，与真实闭环实验中的动态数据流仍有距离，因此结论的外推需谨慎。

小结

表格基础模型作为贝叶斯优化的开箱即用代理模型，在两个材料科学基准上展现出了与高斯过程、随机森林和CatBoost等基线高度竞争的表现。这一结果的核心价值在于：它提供了一条绕开核函数工程和超参数调优的路径，同时可能带来更强的复杂关系建模能力。对于材料发现中的主动学习实践者而言，TFMs值得纳入代理模型的候选清单。