ARC-AGI-2
由François Chollet提出的ARC基准的升级版,用于衡量AI系统的抽象推理与泛化能力,强调组合式推理,减少与训练数据重叠的模式,人类平均正确率超85%而主流大模型长期低于20%
时间轴 (近 90 天)
Gemini 3 Pro的ARC-AGI-2得分为31.1%,Claude Opus 4.6为68.8%,GPT-5.2为52.9%
ARC-AGI-2于2025年发布,人类平均得分约85%,2024年前的主流模型普遍低于5%
ARC-AGI-2作为升级版基准,提高了难度门槛,刻意规避了大语言模型通过海量数据预训练背答案的捷径
ARC-AGI-2更强调组合式推理,需要同时运用多条规则才能得出答案,并刻意减少与训练数据可能重叠的模式
在ARC-AGI-2测试集上,系统在240个测试任务中解决了230个,整体准确率超过95%
在ARC-AGI-2基准上,Meta^n是唯一得分高于零的方法
ARC-AGI-2是专门为抵抗技能记忆而设计的基准,确保模型无法靠死记硬背此前见过的模式取巧
Chollet团队持续发布ARC-AGI新版本(如ARC-AGI-2、ARC-AGI-3)以增加难度和多样性
全部知识事实 (9)
ARC-AGI-2由AI安全研究员François Chollet设计,早期GPT-4在该测试上得分不足10%,人类平均得分约85%
80%待验证ARC-AGI-2于2025年发布,人类平均得分约85%,2024年前的主流模型普遍低于5%
50%待验证Gemini 3 Pro的ARC-AGI-2得分为31.1%,Claude Opus 4.6为68.8%,GPT-5.2为52.9%
50%待验证ARC-AGI-2作为升级版基准,提高了难度门槛,刻意规避了大语言模型通过海量数据预训练背答案的捷径
50%待验证ARC-AGI-2更强调组合式推理,需要同时运用多条规则才能得出答案,并刻意减少与训练数据可能重叠的模式
50%待验证在ARC-AGI-2测试集上,系统在240个测试任务中解决了230个,整体准确率超过95%
50%待验证ARC-AGI-2是专门为抵抗技能记忆而设计的基准,确保模型无法靠死记硬背此前见过的模式取巧
50%待验证在ARC-AGI-2基准上,Meta^n是唯一得分高于零的方法
50%待验证Chollet团队持续发布ARC-AGI新版本(如ARC-AGI-2、ARC-AGI-3)以增加难度和多样性
50%