[控场AI]
基准

Environment Duels

一个动态智能体基准,在交互式环境中同时评估大模型的解题与出题能力,通过特权提示机制量化模型间的教学与学习效果。

时间轴 (近 90 天)

10月22日

Environment Duels 是一个动态智能体基准,在交互式环境中同时评估模型的解题与出题能力。

待验证50%
10月22日

在 Environment Duels 的每轮对局中,模型需要编写一个交互环境并附上一条特权提示,目标是让有能力的解题者在无提示时失败、拿到提示后通过。

待验证50%
10月22日

评估出题质量可以转化为评估提示的增益,即同一解题者在有提示与无提示两种情况下的通过率差值。

待验证50%
10月22日

覆盖九个前沿模型后,Environment Duels 的评估结果显示:最强的解题者并不是最强的出题者,两个能力维度呈现明显分化。

待验证50%
10月22日

研究显示,较小的模型反而从他人对局中学到更多,能写出最难的环境和最有效的提示。

待验证50%
10月22日

环境与提示的质量存在某种可比较的潜在维度,而非纯粹依赖配对关系。

待验证50%
10月22日

独立作者会收敛到相同的设计,说明环境创作存在可复现的“好题目”结构。

待验证50%

全部知识事实 (7)

来源文章