由Paul Christiano创立的AI对齐研究机构，专注研究如何确保强大AI系统与人类价值保持一致，重点关注可扩展监督等核心技术问题
ARC（抽象与推理语料库）被视为衡量机器认知泛化能力的重要基准，考察模型能否从极少数示例中推断出抽象规则并应用到全新任务
在训练阶段，系统在1000个任务中通过了995个
超过95%的准确率能否迁移到更开放、更复杂的现实推理场景仍有待验证
ARC（抽象与推理语料库）由François Chollet于2019年提出
ARC要求模型在仅看过2-3个示例的情况下推断出隐藏的抽象规则并应用到全新题目上
ARC测试的是即时抽象与推理能力，而非记忆的知识量
Chollet的ARC基准测试等研究表明，当前LLM在需要真正外推的任务上表现断崖式下滑
50%UnverifiedARC（抽象与推理语料库）被视为衡量机器认知泛化能力的重要基准，考察模型能否从极少数示例中推断出抽象规则并应用到全新任务
50%Unverified在训练阶段，系统在1000个任务中通过了995个
50%Unverified超过95%的准确率能否迁移到更开放、更复杂的现实推理场景仍有待验证
50%UnverifiedARC要求模型在仅看过2-3个示例的情况下推断出隐藏的抽象规则并应用到全新题目上
50%UnverifiedARC测试的是即时抽象与推理能力，而非记忆的知识量
50%UnverifiedARC（抽象与推理语料库）由François Chollet于2019年提出
50%