RubricAtlas
一个从专家报告中自动挖掘类型级分析要求，并围绕反复出现的分析问题组织检查的评估框架，用于评估深度研究智能体。
时间轴 (近 90 天)
RubricAtlas 是一个从专家报告中自动挖掘类型级分析要求，并围绕反复出现的分析问题组织检查的评估框架。
RubricAtlas 的构建基于 3,079 份中文金融研究报告，覆盖 99 种研究类型。
RubricAtlas 将二元检查点与报告中的具体段落链接，并将完整性与论证有效性分开评估。
在十个智能体上的测试中，两条评审流程取得了 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的智能体排名一致性。
从不同报告中选择要求会改变评估分数和智能体排名。
受控删除实验显示，删去报告中的相关分析后对应维度的分数下降。
填充实验显示，向报告加入无关内容后未检测到分数上升。
该评分标准衡量的是分析完整性，而非文本长度或表面丰富度。
RubricAtlas 的构建语料集中于中文金融研究报告，其在其他领域和语言上的适用性尚未得出结论。
全部知识事实 (9)
RubricAtlas 是一个从专家报告中自动挖掘类型级分析要求，并围绕反复出现的分析问题组织检查的评估框架。
50%待验证RubricAtlas 的构建基于 3,079 份中文金融研究报告，覆盖 99 种研究类型。
50%待验证RubricAtlas 将二元检查点与报告中的具体段落链接，并将完整性与论证有效性分开评估。
50%待验证在十个智能体上的测试中，两条评审流程取得了 κ = 0.71 的检查点一致性和 Kendall τ = 0.87 的智能体排名一致性。
50%待验证从不同报告中选择要求会改变评估分数和智能体排名。
50%待验证受控删除实验显示，删去报告中的相关分析后对应维度的分数下降。
50%待验证填充实验显示，向报告加入无关内容后未检测到分数上升。
50%待验证该评分标准衡量的是分析完整性，而非文本长度或表面丰富度。
50%待验证RubricAtlas 的构建语料集中于中文金融研究报告，其在其他领域和语言上的适用性尚未得出结论。
50%