[控场AI]
基准Anthropic内部基准

AECI

Anthropic用于内部模型评估的专有基准集,涵盖推理、编码、长上下文、工具使用等维度,设有通过率阈值作为能力档位划分依据,不对外公开。

时间轴 (近 90 天)

11月10日

据Meter报告,Anthropic内部存在Model 2、Model 3、Model 4等版本,且Model 4已在Anthropic内部基准AECI上全面超过50%。

待验证50%
11月10日

AECI是Anthropic用于内部模型评估的专有基准集,不对外公开,涵盖推理、编码、长上下文、工具使用等维度。

待验证50%
11月8日

METR发布对Anthropic的独立评估,称其模型在定义明确任务上的能力提升速度约为2024年3月到2025年10月的两倍,AECI基准分数自2025年10月以来以此前1.9倍的速度增长。

待验证60%
11月7日

Meter评估发现,Anthropic模型在定义明确的任务(如AI研发流程相关任务)上的能力提升速度,已达到此前某个历史区间的约两倍,当前增速可能更接近历史速率的1.3倍到3倍。

待验证50%

全部知识事实 (4)

来源文章