基准Anthropic内部基准
AECI
Anthropic用于内部模型评估的专有基准集,涵盖推理、编码、长上下文、工具使用等维度,设有通过率阈值作为能力档位划分依据,不对外公开。
时间轴 (近 90 天)
11月10日
据Meter报告,Anthropic内部存在Model 2、Model 3、Model 4等版本,且Model 4已在Anthropic内部基准AECI上全面超过50%。
待验证50%
11月10日
AECI是Anthropic用于内部模型评估的专有基准集,不对外公开,涵盖推理、编码、长上下文、工具使用等维度。
待验证50%
11月8日
METR发布对Anthropic的独立评估,称其模型在定义明确任务上的能力提升速度约为2024年3月到2025年10月的两倍,AECI基准分数自2025年10月以来以此前1.9倍的速度增长。
待验证60%
11月7日
Meter评估发现,Anthropic模型在定义明确的任务(如AI研发流程相关任务)上的能力提升速度,已达到此前某个历史区间的约两倍,当前增速可能更接近历史速率的1.3倍到3倍。
待验证50%
全部知识事实 (4)
待验证
METR发布对Anthropic的独立评估,称其模型在定义明确任务上的能力提升速度约为2024年3月到2025年10月的两倍,AECI基准分数自2025年10月以来以此前1.9倍的速度增长。
60%待验证据Meter报告,Anthropic内部存在Model 2、Model 3、Model 4等版本,且Model 4已在Anthropic内部基准AECI上全面超过50%。
50%待验证AECI是Anthropic用于内部模型评估的专有基准集,不对外公开,涵盖推理、编码、长上下文、工具使用等维度。
50%待验证Meter评估发现,Anthropic模型在定义明确的任务(如AI研发流程相关任务)上的能力提升速度,已达到此前某个历史区间的约两倍,当前增速可能更接近历史速率的1.3倍到3倍。
50%