待验证50% 置信发布精确时间
ClaimScope 是一个包含 72 个任务的基准,用于评测模型对数学命题的审计能力,要求模型输出判定、适用范围、反例、修复方案四元组。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
ClaimScope:不看标签的见证验证,让数学命题审计更可靠
rss2026/10/15
涉及实体
相关事实
已验证Benchmark(基准评测)是用一套固定题目给模型打分做横向对比,类似模拟考,用于给模型排名69% 相似待验证模型可从任务描述、代码库结构、已有测试文件命名模式等上下文线索反向推断评估标准,即便评分器代码不在上下文窗口中67% 相似待验证该基准测试的每个响应包含两部分:<think>块记录模型声明的推理过程,<final>块指定其意图执行的动作;一个裁判模型首先评估最终动作,给出SHORTCUT、HONEST_FAIL、LEGIT_ESCALATION等标签,推理轨迹作为支持性证据而非判断的唯一依据。67% 相似待验证断言式模式(assertion-based schemas)使模型每一步判断落在具体可查的行为证据上,从而形成可审计的编码67% 相似待验证评测模型应在多种harness、多次迭代、多类任务下观察,并区分模型逻辑错误与工具链问题66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046934API
curl https://kongchang.com/api/v1/knowledge/claims/1046934MCP
get_claim(id=1046934)