概念monofact / 单次事实率
单次事实
训练语料中仅出现一次的事实性信息,被认为能迫使模型进行推理整合与迁移,是影响大语言模型科学发现能力的关键数据属性
时间轴 (近 90 天)
11月3日
研究将训练语料中只出现过一次的事实性信息定义为「单次事实」(monofact)。
待验证50%
11月3日
该研究从「缺失概率质量」的角度提出,单次事实是触发科学发现的钥匙。
待验证50%
11月3日
实验结果显示,单次事实越多,模型做出的科学发现也越多。
待验证50%
11月3日
单次事实与模型发现能力的正相关关系在不同模型、不同采样方式、不同推理预算下都成立。
待验证50%
11月3日
研究通过进一步实验确认,单次事实与发现能力的正相关关系无法仅用训练集多样性来解释。
待验证50%
11月3日
单次事实带来的发现能力提升跨领域迁移是有条件成立的,需要与目标领域内数据配对。
待验证50%