ClaimScope
一个评测大模型数学命题审计能力的基准,包含72个任务,要求模型输出判定、适用范围、反例和修复方案,采用标签盲见证验证机制
时间轴 (近 90 天)
ClaimScope 是一个包含 72 个任务的基准,用于评测模型对数学命题的审计能力,要求模型输出判定、适用范围、反例、修复方案四元组。
ClaimScope 覆盖三类数学问题:优化器状态传输、有限时域仿射递推、精确的 2×2 线性代数。
ClaimScope 的核心机制是标签盲(label-blind)的见证检查器,它只检查模型提交的状态,不参考参考答案中的 verdict,也不提供替代 witness。
在无效命题上,使用验证器反馈得到 23/39 个被接受的反例,而无检查器的通用反馈只有 15/39。
安全完成方面,验证器反馈为 25/72,无检查器通用反馈为 20/72。
严格完成在两条件下均为 17/72,verdict 准确率从 47/72 变为 46/72,几乎不变。
按 claim 分组的 safe-completion 差异为 .094,bootstrap 95% 置信区间为 [.000, .198]。
对直接输出做一次后验的纯 schema 修正,不调用模型,也能达到同样的 25 个安全任务。
ClaimScope 论文将观测到的增益定位为 witness-structure correction,而非模型推理能力的跃迁。
Schema-only 后验修正能达到与验证器反馈相当的安全完成数,可能原因是模型原始输出已包含正确内容但格式散乱,或验证器反馈主要施加格式约束而非提供新推理信号。
还有 1 条时间轴事件
全部知识事实 (11)
验证器反馈真正改善的是见证结构,而不是命题分类能力。
50%待验证ClaimScope 覆盖三类数学问题:优化器状态传输、有限时域仿射递推、精确的 2×2 线性代数。
50%待验证ClaimScope 的核心机制是标签盲(label-blind)的见证检查器,它只检查模型提交的状态,不参考参考答案中的 verdict,也不提供替代 witness。
50%待验证在无效命题上,使用验证器反馈得到 23/39 个被接受的反例,而无检查器的通用反馈只有 15/39。
50%待验证安全完成方面,验证器反馈为 25/72,无检查器通用反馈为 20/72。
50%待验证严格完成在两条件下均为 17/72,verdict 准确率从 47/72 变为 46/72,几乎不变。
50%待验证按 claim 分组的 safe-completion 差异为 .094,bootstrap 95% 置信区间为 [.000, .198]。
50%待验证对直接输出做一次后验的纯 schema 修正,不调用模型,也能达到同样的 25 个安全任务。
50%待验证ClaimScope 论文将观测到的增益定位为 witness-structure correction,而非模型推理能力的跃迁。
50%待验证Schema-only 后验修正能达到与验证器反馈相当的安全完成数,可能原因是模型原始输出已包含正确内容但格式散乱,或验证器反馈主要施加格式约束而非提供新推理信号。
50%待验证ClaimScope 是一个包含 72 个任务的基准,用于评测模型对数学命题的审计能力,要求模型输出判定、适用范围、反例、修复方案四元组。
50%