[控场AI]
基准

AdaExploreBench

评估LLM智能体在动态环境中主动探索与测试时适应能力的基准,核心设计包含隐藏规则下的主动证据获取与隐式规则漂移检测。

时间轴 (近 90 天)

10月20日

研究者推出了 AdaExploreBench,一个用于评估 evolving 环境中主动探索与测试时适应能力的基准。

待验证50%
10月20日

AdaExploreBench 将环境动态实例化为隐藏规则,要求智能体主动获取证据并推断规则。

待验证50%
10月20日

AdaExploreBench 的核心设计围绕两个挑战:主动证据获取和隐式规则漂移检测。

待验证50%
10月20日

实验覆盖了八款领先的 LLM。

待验证50%
10月20日

GPT-6 Sol 在 AdaExploreBench 上仅达到 61.9% 的校准准确率。

待验证50%
10月20日

当提供充足证据或移除规则漂移时,平均性能显著提升近 10%。

待验证50%
10月20日

在测试时适应场景下,智能体需要在部署阶段根据新证据持续更新行为,同时保留仍然有效的旧规则;更新过于激进或保守都会导致问题,这一权衡是 AdaExploreBench 所揭示瓶颈的重要成因之一。

待验证50%

全部知识事实 (7)

来源文章