[控场AI]
基准ARC-AGI 2

ARC-AGI-2

由François Chollet提出的ARC基准的升级版,用于衡量AI系统的抽象推理与泛化能力,强调组合式推理,减少与训练数据重叠的模式,人类平均正确率超85%而主流大模型长期低于20%

时间轴 (近 90 天)

10月16日

Gemini 3 Pro的ARC-AGI-2得分为31.1%,Claude Opus 4.6为68.8%,GPT-5.2为52.9%

待验证50%
10月16日

ARC-AGI-2于2025年发布,人类平均得分约85%,2024年前的主流模型普遍低于5%

待验证50%
10月11日

ARC-AGI-2作为升级版基准,提高了难度门槛,刻意规避了大语言模型通过海量数据预训练背答案的捷径

待验证50%
10月11日

ARC-AGI-2更强调组合式推理,需要同时运用多条规则才能得出答案,并刻意减少与训练数据可能重叠的模式

待验证50%
9月12日

在ARC-AGI-2测试集上,系统在240个测试任务中解决了230个,整体准确率超过95%

待验证50%
9月12日

在ARC-AGI-2基准上,Meta^n是唯一得分高于零的方法

待验证50%
9月12日

ARC-AGI-2是专门为抵抗技能记忆而设计的基准,确保模型无法靠死记硬背此前见过的模式取巧

待验证50%
9月5日

Chollet团队持续发布ARC-AGI新版本(如ARC-AGI-2、ARC-AGI-3)以增加难度和多样性

待验证50%

全部知识事实 (9)

来源文章