待验证50% 置信观点精确时间

现有科学类基准测试将所有已知量一次性提供给模型，只需完成一次性符号推理，回避了通过实验获取信息的环节

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

PhysMent：用交互式物理仿真评测大模型的物理推理能力

涉及实体

PhysMentproduct

相关事实

待验证大模型测试存在偶然性，任何榜单都只代表特定提示词下的特定结果77% 相似待验证正确的实验做法是先将测试集完全封存，绝不参与任何训练或调参决策，以避免数据泄漏76% 相似待验证该测试专门考察模型从有限样本中抽象出通用模式（举一反三）的能力75% 相似待验证多种子实验中检验对象从单样本预测分歧变为多次运行的准确率序列时，通常已不再适用McNemar检验75% 相似待验证理想的基准测试应固定模型、工具和任务分布，只让轨迹长度作为单一变量变化74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/921785

API

curl https://kongchang.com/api/v1/knowledge/claims/921785

MCP

get_claim(id=921785)