基准
ARK AGI 3
围绕ARC基准的评测尝试之一,用于评估AGI相关能力,其报告因隔离harness变量而受关注
时间轴 (近 90 天)
10月28日
OpenAI在ARK AGI 3报告中通过启用两个harness设置(跨步骤保留模型推理过程、对历史进行摘要而非截断),在相同输出token数量下让模型采取了更多动作、通过了更多关卡。
待验证50%
10月28日
OpenAI在ARK AGI 3中的实验表明,在相同输出token预算下,采用摘要而非截断能让模型完成更多有效动作,说明上下文管理策略与模型能力是相乘而非相加的关系。
待验证50%