基准
WorkspaceBench
用于评估大模型全局工作空间(中间表征)激活到文本读取工具能力的基准,包含多个评估族和题目,覆盖安全、逻辑推理与多跳计算等主题,并提供幻觉专项评估
时间轴 (近 90 天)
10月12日
WorkspaceBench 是一套专门评估「全局工作空间」读取能力的基准,用来判断工具能否把前向传播中的中间变量还原成可读文本。
待验证50%
10月12日
WorkspaceBench 基准包含 27 个评估族、共 3356 道题目,覆盖安全、逻辑推理和多跳计算等主题。
待验证50%
10月12日
WorkspaceBench 同时提供幻觉专项评估,并把「精度/召回相对 J-lens」作为辅助指标。
待验证50%
10月12日
题目质量控制要求模型在 n=10、temperature=0.8、无思维链下正确率高于 80%,且中间量绝不出现在提示词中。
待验证50%
10月12日
作者强烈建议对原创评估使用同等或更强能力的裁判,因为更简单或更弱的裁判会放进大量误判。
待验证50%
10月12日
评估族包括基础类、计算类、安全类、联想类、反词袋类以及幻觉评估和 J-lens 概念精度/召回。
待验证50%
全部知识事实 (6)
待验证
WorkspaceBench 是一套专门评估「全局工作空间」读取能力的基准,用来判断工具能否把前向传播中的中间变量还原成可读文本。
50%待验证WorkspaceBench 基准包含 27 个评估族、共 3356 道题目,覆盖安全、逻辑推理和多跳计算等主题。
50%待验证WorkspaceBench 同时提供幻觉专项评估,并把「精度/召回相对 J-lens」作为辅助指标。
50%待验证题目质量控制要求模型在 n=10、temperature=0.8、无思维链下正确率高于 80%,且中间量绝不出现在提示词中。
50%待验证作者强烈建议对原创评估使用同等或更强能力的裁判,因为更简单或更弱的裁判会放进大量误判。
50%待验证评估族包括基础类、计算类、安全类、联想类、反词袋类以及幻觉评估和 J-lens 概念精度/召回。
50%