HotpotQA
多跳问答基准数据集，要求模型通过多步推理和信息检索回答复杂问题，常用于评估语言模型的多步推理与检索能力
核心事实
时间轴 (近 90 天)
多跳问答是一类需要跨越多个独立证据片段才能回答的问题，主流基准包括HotpotQA、MuSiQue和2WikiMultiHopQA
该实验在400个样本上展开，数据来源于MuSiQue、HotpotQA和2WikiMultiHopQA三个多跳问答数据集
作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内，与这两个任务可回收信息不多的诊断预测一致
2018年杨志林等人发布的HotpotQA数据集首次系统化定义多跳推理挑战，每个问题需从至少两篇维基百科文章提取和组合信息
ReAct在事实核查任务Fever上优于思维链，但在HotpotQA上并非总是胜出
HotpotQA是斯坦福2018年发布的多跳问答数据集，问题需要整合多个维基百科文档中的信息才能回答
全部知识事实 (10)
ReAct在HotpotQA、FEVER等复杂推理基准上显著优于单独使用CoT或行动的方法
80%已验证ReAct论文通过在HotpotQA、FEVER等多跳推理基准上的实验，证明相比单纯的Chain-of-Thought推理，ReAct在需要外部信息检索的任务上准确率提升了约10%~30%
75%待验证ReAct论文在HotpotQA和FEVER等基准测试上证明ReAct模式相比纯推理或纯行动方法都有显著提升
85%待验证多跳问答是一类需要跨越多个独立证据片段才能回答的问题，主流基准包括HotpotQA、MuSiQue和2WikiMultiHopQA
50%待验证该实验在400个样本上展开，数据来源于MuSiQue、HotpotQA和2WikiMultiHopQA三个多跳问答数据集
50%待验证作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
50%待验证RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内，与这两个任务可回收信息不多的诊断预测一致
50%待验证2018年杨志林等人发布的HotpotQA数据集首次系统化定义多跳推理挑战，每个问题需从至少两篇维基百科文章提取和组合信息
50%待验证ReAct在事实核查任务Fever上优于思维链，但在HotpotQA上并非总是胜出
50%待验证HotpotQA是斯坦福2018年发布的多跳问答数据集，问题需要整合多个维基百科文档中的信息才能回答
50%