基准BIG-Bench / Beyond the Imitation Game Benchmark
BigBench
由Google发起的大规模协作基准测试，涵盖200+多样化任务，旨在评估超出当前语言模型能力边界的推理与知识任务
时间轴 (近 90 天)
9月30日
主流大模型基准如MMLU、BigBench、MATH均已被广泛用于模型训练数据筛选与强化学习奖励信号设计，导致高分越来越难映射到真实能力提升
待验证50%
由Google发起的大规模协作基准测试，涵盖200+多样化任务，旨在评估超出当前语言模型能力边界的推理与知识任务
主流大模型基准如MMLU、BigBench、MATH均已被广泛用于模型训练数据筛选与强化学习奖励信号设计，导致高分越来越难映射到真实能力提升