待验证50% 置信事实精确时间

2023年多项研究揭示部分模型在GSM8K数学基准上的真实能力与其公布分数存在显著落差

1

来源数

50%

置信度

长期有效

时效性

2026/9/9

首次发现

来源

AI模型提示词效果评估：本地vs API的科学选择方法

涉及实体

相关事实

待验证自洽性在GSM8K等数学推理基准上能带来5-20个百分点的提升77% 相似待验证研究表明，即使在 GSM8K 或 MATH 数据集上接近满分的模型，面对稍作变形或需要跨领域组合的问题时性能下降可达30-50个百分点76% 相似待验证最优变体在GSM8K数学推理基准仅下降1.83%，MMLU综合知识基准保持不变73% 相似待验证所有反审查模型变体与基础模型在GSM8K数学推理测试中的差距都在1.2个百分点以内73% 相似待验证在GSM8K小学数学应用题基准上，前沿模型的准确率已超过90%67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/882905

API

curl https://kongchang.com/api/v1/knowledge/claims/882905

MCP

get_claim(id=882905)