[控场AI]
基准ClaimScope 基准

ClaimScope

一个评测大模型数学命题审计能力的基准,包含72个任务,要求模型输出判定、适用范围、反例和修复方案,采用标签盲见证验证机制

时间轴 (近 90 天)

10月16日

ClaimScope 是一个包含 72 个任务的基准,用于评测模型对数学命题的审计能力,要求模型输出判定、适用范围、反例、修复方案四元组。

待验证50%
10月16日

ClaimScope 覆盖三类数学问题:优化器状态传输、有限时域仿射递推、精确的 2×2 线性代数。

待验证50%
10月16日

ClaimScope 的核心机制是标签盲(label-blind)的见证检查器,它只检查模型提交的状态,不参考参考答案中的 verdict,也不提供替代 witness。

待验证50%
10月16日

在无效命题上,使用验证器反馈得到 23/39 个被接受的反例,而无检查器的通用反馈只有 15/39。

待验证50%
10月16日

安全完成方面,验证器反馈为 25/72,无检查器通用反馈为 20/72。

待验证50%
10月16日

严格完成在两条件下均为 17/72,verdict 准确率从 47/72 变为 46/72,几乎不变。

待验证50%
10月16日

按 claim 分组的 safe-completion 差异为 .094,bootstrap 95% 置信区间为 [.000, .198]。

待验证50%
10月16日

对直接输出做一次后验的纯 schema 修正,不调用模型,也能达到同样的 25 个安全任务。

待验证50%
10月16日

ClaimScope 论文将观测到的增益定位为 witness-structure correction,而非模型推理能力的跃迁。

待验证50%
10月16日

Schema-only 后验修正能达到与验证器反馈相当的安全完成数,可能原因是模型原始输出已包含正确内容但格式散乱,或验证器反馈主要施加格式约束而非提供新推理信号。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

待验证

验证器反馈真正改善的是见证结构,而不是命题分类能力。

50%
待验证

ClaimScope 覆盖三类数学问题:优化器状态传输、有限时域仿射递推、精确的 2×2 线性代数。

50%
待验证

ClaimScope 的核心机制是标签盲(label-blind)的见证检查器,它只检查模型提交的状态,不参考参考答案中的 verdict,也不提供替代 witness。

50%
待验证

在无效命题上,使用验证器反馈得到 23/39 个被接受的反例,而无检查器的通用反馈只有 15/39。

50%
待验证

安全完成方面,验证器反馈为 25/72,无检查器通用反馈为 20/72。

50%
待验证

严格完成在两条件下均为 17/72,verdict 准确率从 47/72 变为 46/72,几乎不变。

50%
待验证

按 claim 分组的 safe-completion 差异为 .094,bootstrap 95% 置信区间为 [.000, .198]。

50%
待验证

对直接输出做一次后验的纯 schema 修正,不调用模型,也能达到同样的 25 个安全任务。

50%
待验证

ClaimScope 论文将观测到的增益定位为 witness-structure correction,而非模型推理能力的跃迁。

50%
待验证

Schema-only 后验修正能达到与验证器反馈相当的安全完成数,可能原因是模型原始输出已包含正确内容但格式散乱,或验证器反馈主要施加格式约束而非提供新推理信号。

50%
待验证

ClaimScope 是一个包含 72 个任务的基准,用于评测模型对数学命题的审计能力,要求模型输出判定、适用范围、反例、修复方案四元组。

50%

来源文章