[控场AI]

#智能体评估

共 10 篇相关文章

用户模拟器评估不可靠?新基准能捕捉全部10类失效
·5 分钟

用户模拟器评估不可靠?新基准能捕捉全部10类失效

现有用户模拟器评估方法仅能检测10类失效中的5-6种,甚至偏好接受残缺工作的模拟群体。新研究提出结合效用与双层保真度的评估套件,在351段真实多轮会话中成功检测全部扰动,揭示群体级指标的盲区。

阅读全文 →
SciResearch-Eval:首个科学判断力基准,AI实验智能体如何校准",
·5 分钟

SciResearch-Eval:首个科学判断力基准,AI实验智能体如何校准",

SciResearch-Eval是首个结合智能体自主实验、缺陷模拟器与校准区间评分的科学判断力基准。93个任务、9个模型、2511回合揭示:多数模型在模拟器缺失物理时仍自信报错,Astra与Fable通过实验设计规避缺陷,推理强度可提升校准但代价高昂。

阅读全文 →
LLM验证器跨抽象边界可靠性测试:抽象导致31%判断失效
·3 分钟

LLM验证器跨抽象边界可靠性测试:抽象导致31%判断失效

研究提出Verification Transport测试,衡量LLM验证器在抽象边界下的判断稳定性。实验覆盖四个基准、七种骨干、四种协议,发现宏抽象和委派导致约31%传输失败,恢复执行溯源可修复85.5%的失败。

阅读全文 →
ToolTurns:多轮对话工具使用基准,最强模型成功率仅39.8%
·4 分钟

ToolTurns:多轮对话工具使用基准,最强模型成功率仅39.8%

ToolTurns 是覆盖 2,620 个问题、1,827 个工具的多轮对话工具使用基准。评估显示最强智能体单请求成功率 69.6%,但完整对话完成率仅 39.8%,所有模型在后续追问上表现下降。

阅读全文 →
FrontierPhysics:物理研究智能体的端到端评估新基准
·3 分钟

FrontierPhysics:物理研究智能体的端到端评估新基准

FrontierPhysics是由42位物理学家构建的端到端物理研究基准,包含56个覆盖理论、计算与实验物理的任务。测试显示22个模型26种配置无一能通过超过46/168次运行,主要短板在于推理严谨性与专家直觉不足。

阅读全文 →
Langfuse 实战:为 Harness 智能体打造可观测评估平台
·6 分钟

Langfuse 实战:为 Harness 智能体打造可观测评估平台

基于 Harness 多智能体财务分析项目,系统讲解 Langfuse 开源 LLMOps 平台的核心概念:链路追踪、token 成本与延迟分析、提示词版本管理、自动与人工评估,并明确其能力边界,帮助团队构建企业级智能体可观测与评估体系。

阅读全文 →