待验证50% 置信事实精确时间

传统准确率指标无法区分模型是在从结构进行推理还是直接复制输入中已印出的答案

1

来源数

50%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

CARAT揭秘：材料科学大模型是在推理还是背诵？

涉及实体

相关事实

待验证模型本身对准确性毫无概念，它只是模仿训练数据中观察到的统计分布75% 相似待验证对话式大模型输出的证明文字基于统计模式生成，无法保证每个步骤逻辑严格成立74% 相似待验证思维链推理的效果随模型规模呈现涌现性，在较小模型上几乎无效，在足够大的模型上才能显著提升推理准确率73% 相似已验证研究发现模型生成的思维链推理与其实际内部计算过程并不完全对应，可能给出与真实决策路径无关的事后解释72% 相似待验证在大模型应用开发中，由于模型输出具有不确定性，无法用简单的assert断言判断生成文本是否正确，因此需要评估（evals）71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/963952

API

curl https://kongchang.com/api/v1/knowledge/claims/963952

MCP

get_claim(id=963952)