基准
Environment Duels
一个动态智能体基准,在交互式环境中同时评估大模型的解题与出题能力,通过特权提示机制量化模型间的教学与学习效果。
时间轴 (近 90 天)
10月22日
Environment Duels 是一个动态智能体基准,在交互式环境中同时评估模型的解题与出题能力。
待验证50%
10月22日
在 Environment Duels 的每轮对局中,模型需要编写一个交互环境并附上一条特权提示,目标是让有能力的解题者在无提示时失败、拿到提示后通过。
待验证50%
10月22日
评估出题质量可以转化为评估提示的增益,即同一解题者在有提示与无提示两种情况下的通过率差值。
待验证50%
10月22日
覆盖九个前沿模型后,Environment Duels 的评估结果显示:最强的解题者并不是最强的出题者,两个能力维度呈现明显分化。
待验证50%
10月22日
研究显示,较小的模型反而从他人对局中学到更多,能写出最难的环境和最有效的提示。
待验证50%
10月22日
环境与提示的质量存在某种可比较的潜在维度,而非纯粹依赖配对关系。
待验证50%
10月22日
独立作者会收敛到相同的设计,说明环境创作存在可复现的“好题目”结构。
待验证50%
全部知识事实 (7)
待验证
Environment Duels 是一个动态智能体基准,在交互式环境中同时评估模型的解题与出题能力。
50%待验证在 Environment Duels 的每轮对局中,模型需要编写一个交互环境并附上一条特权提示,目标是让有能力的解题者在无提示时失败、拿到提示后通过。
50%待验证评估出题质量可以转化为评估提示的增益,即同一解题者在有提示与无提示两种情况下的通过率差值。
50%待验证覆盖九个前沿模型后,Environment Duels 的评估结果显示:最强的解题者并不是最强的出题者,两个能力维度呈现明显分化。
50%待验证研究显示,较小的模型反而从他人对局中学到更多,能写出最难的环境和最有效的提示。
50%待验证环境与提示的质量存在某种可比较的潜在维度,而非纯粹依赖配对关系。
50%待验证独立作者会收敛到相同的设计,说明环境创作存在可复现的“好题目”结构。
50%