待验证50% 置信事实精确时间
GSM8K、MATH 和 BBH 是三个常用的推理评测基准，难度梯度明显：GSM8K 为小学数学应用题，MATH 涵盖竞赛级数学题，BBH 包含 23 类需要多步符号操作或策略推理的任务。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
已验证GSM8K是小学数学推理基准，HumanEval是代码生成基准，HellaSwag是常识推理基准75% 相似待验证当前流行的评估基准GSM8K和MATH与前沿研究级别的数学推理之间存在质的差距72% 相似待验证在提示词不变的情况下，SymCE 训练的模型能力可迁移到 GSM8K、MATH-500 和 MMLU-college-math 等主流数学推理基准64% 相似待验证2022年Wei等人的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》证明在few-shot示例中加入推理步骤可将PaLM 540B在GSM8K上的准确率从17.9%提升至58.1%60% 相似待验证MoE模型推理瓶颈主要在KV Cache读写(受显存带宽限制)和MoE路由专家的GEMM计算(形状不规整的计算密集型任务)两处60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1073974API
curl https://kongchang.com/api/v1/knowledge/claims/1073974MCP
get_claim(id=1073974)