[控场AI]
概念tabular foundation model

表格基础模型

表格基础模型(tabular foundation model)是一类在大量异构表格数据集上预训练的模型,能够学习列间关系、单元格语义和表结构,无需人工特征工程即可进行预测,代表工作包括Kumo和Nori。

时间轴 (近 90 天)

11月11日

表格基础模型在数百万个不同的表格预测任务上预训练,面对新数据集时通过上下文学习(ICL)直接从表格中的示例学习规律,无需重新建模。

待验证50%
11月11日

实际部署表格基础模型时需考虑KV cache的容量与多租户隔离,不同数据集对应不同缓存,需要按会话或任务做管理。

待验证50%
11月11日

在表格基础模型中,KV cache复用可使首次加载示例与后续查询分离,从而把单次预测延迟压到亚秒级。

待验证50%
11月11日

ICL的代价是每次预测都要携带示例,上下文越长推理成本越高,示例的挑选与排列会影响效果;数据量极大或特征维度很高的场景仍需配合采样与检索策略。

待验证50%
11月10日

表格基础模型的竞争正从模型结构转向预训练数据配方,合成数据的规模与多样性成为拉开差距的核心变量。

待验证50%
11月10日

表格基础模型通常需要把一行样本序列化为 token 序列,并采用列感知的编码方式处理异构模式。

待验证50%
11月10日

材料科学中的基准数据集通常规模有限(数十到数百个样本),与TFMs预训练时接触的大规模合成数据存在分布差异;材料数据的异质性可能超出预训练分布范围。

待验证50%
11月10日

TFMs基于Transformer架构,在大数据集上的推理开销与GP相比如何需要结合具体规模判断;论文摘要未涉及推理成本维度,而实际材料发现流程中代理模型需在每轮迭代中快速更新和预测。

待验证50%
11月10日

贝叶斯优化中的采集函数(如EI、UCB、汤普森采样)直接依赖代理模型输出的预测均值与不确定性;若TFMs的不确定性校准不佳,采集函数可能偏向过度探索或过早收敛。

待验证50%
11月10日

一篇来自arXiv的最新研究提出用表格基础模型(TFMs)作为贝叶斯优化的代理模型,无需核函数选择,也无需针对主动学习任务做额外训练。

待验证50%

还有 9 条时间轴事件

全部知识事实 (19)

待验证

实际部署表格基础模型时需考虑KV cache的容量与多租户隔离,不同数据集对应不同缓存,需要按会话或任务做管理。

50%
待验证

在表格基础模型中,KV cache复用可使首次加载示例与后续查询分离,从而把单次预测延迟压到亚秒级。

50%
待验证

ICL的代价是每次预测都要携带示例,上下文越长推理成本越高,示例的挑选与排列会影响效果;数据量极大或特征维度很高的场景仍需配合采样与检索策略。

50%
待验证

表格基础模型在数百万个不同的表格预测任务上预训练,面对新数据集时通过上下文学习(ICL)直接从表格中的示例学习规律,无需重新建模。

50%
待验证

表格基础模型通常需要把一行样本序列化为 token 序列,并采用列感知的编码方式处理异构模式。

50%
待验证

表格基础模型的竞争正从模型结构转向预训练数据配方,合成数据的规模与多样性成为拉开差距的核心变量。

50%
待验证

贝叶斯优化中的采集函数(如EI、UCB、汤普森采样)直接依赖代理模型输出的预测均值与不确定性;若TFMs的不确定性校准不佳,采集函数可能偏向过度探索或过早收敛。

50%
待验证

研究者在两个标准的材料科学基准数据集上对比了TFMs与高斯过程、随机森林和CatBoost等基线模型。

50%
待验证

研究的核心发现是:在两个基准上,TFMs都表现出了高度竞争力,且无需任务特定的训练或GP核函数选择。

50%
待验证

研究者的表述是TFMs“高度竞争力”(highly competitive),而非全面超越高斯过程;GP在不确定性量化方面的理论保证和成熟工具链仍是其优势。

50%
待验证

材料科学中的基准数据集通常规模有限(数十到数百个样本),与TFMs预训练时接触的大规模合成数据存在分布差异;材料数据的异质性可能超出预训练分布范围。

50%
待验证

TFMs基于Transformer架构,在大数据集上的推理开销与GP相比如何需要结合具体规模判断;论文摘要未涉及推理成本维度,而实际材料发现流程中代理模型需在每轮迭代中快速更新和预测。

50%
待验证

表格基础模型对列语义和数据类型敏感,时间对齐若处理不当极易引入泄漏,且其推理成本和可解释性往往不如梯度提升树透明。

50%
待验证

表格基础模型是一类在大量异构表格数据集上预训练的模型,代表工作包括Kumo和Nori,其典型使用方式是将待预测样本组织为一张表,模型基于预训练获得的表格先验直接推理。

50%
待验证

数据分布偏移可能导致零训练预测效果不及针对性训练的模型,尤其当业务数据具有强领域特性(如医疗编码、金融风控稀有事件)时。

50%
待验证

当前主流的表格基础模型(TFM)直接用于生存分析任务时,没有任何一个能稳定击败Cox模型。

50%
待验证

一篇来自arXiv的最新研究提出用表格基础模型(TFMs)作为贝叶斯优化的代理模型,无需核函数选择,也无需针对主动学习任务做额外训练。

50%
待验证

论文结论指出研究结果“motivate developing TFMs further as surrogates for active learning in materials discovery”,暗示当前TFMs在主动学习场景下的不确定性估计和采集函数适配方面仍有改进空间。

50%
待验证

对于中小规模数据集,基于预训练的表格基础模型有望以极低调参成本达到甚至超越精心调优的树模型效果

50%

来源文章