BIG-Bench Hard
BIG-Bench Hard是BIG-Bench基准中筛选出的23个最具挑战性的任务集合，用于评估大语言模型的复杂推理能力
时间轴 (近 90 天)
传统判断模型直接输出最终答案，跳过中间推理步骤，在BIG-Bench Hard等复杂任务上准确率有限。
BIG-Bench Hard是BIG-Bench基准中筛选出的23个高难度任务子集，涵盖多步算术、逻辑推理、因果判断、日期理解等类型。
在三个选定的BIG-Bench Hard任务上，九个独立构建的程序解决了150个开发输入的450次执行。
ABACUS程序在三个BIG-Bench Hard任务上达到99.67%的宏平均准确率。
在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。
评估大语言模型推理可靠性的系统化基准测试包括GSM8K、MATH竞赛题集和BIG-Bench Hard
全部知识事实 (6)
传统判断模型直接输出最终答案，跳过中间推理步骤，在BIG-Bench Hard等复杂任务上准确率有限。
50%待验证BIG-Bench Hard是BIG-Bench基准中筛选出的23个高难度任务子集，涵盖多步算术、逻辑推理、因果判断、日期理解等类型。
50%待验证ABACUS程序在三个BIG-Bench Hard任务上达到99.67%的宏平均准确率。
50%待验证在Llama-3.2-3B上，用CACTUS选出的5%数据微调一个全新的稠密模型，在BIG-Bench Hard上达到49.44%准确率；直接用稠密模型选数据是49.54%；ALPS方法选出的数据只能到47.22%。
50%待验证评估大语言模型推理可靠性的系统化基准测试包括GSM8K、MATH竞赛题集和BIG-Bench Hard
50%待验证在三个选定的BIG-Bench Hard任务上，九个独立构建的程序解决了150个开发输入的450次执行。
50%