[控场AI]
基准

WorkspaceBench

用于评估大模型全局工作空间(中间表征)激活到文本读取工具能力的基准,包含多个评估族和题目,覆盖安全、逻辑推理与多跳计算等主题,并提供幻觉专项评估

时间轴 (近 90 天)

10月12日

WorkspaceBench 是一套专门评估「全局工作空间」读取能力的基准,用来判断工具能否把前向传播中的中间变量还原成可读文本。

待验证50%
10月12日

WorkspaceBench 基准包含 27 个评估族、共 3356 道题目,覆盖安全、逻辑推理和多跳计算等主题。

待验证50%
10月12日

WorkspaceBench 同时提供幻觉专项评估,并把「精度/召回相对 J-lens」作为辅助指标。

待验证50%
10月12日

题目质量控制要求模型在 n=10、temperature=0.8、无思维链下正确率高于 80%,且中间量绝不出现在提示词中。

待验证50%
10月12日

作者强烈建议对原创评估使用同等或更强能力的裁判,因为更简单或更弱的裁判会放进大量误判。

待验证50%
10月12日

评估族包括基础类、计算类、安全类、联想类、反词袋类以及幻觉评估和 J-lens 概念精度/召回。

待验证50%

全部知识事实 (6)

来源文章