#智能体评估
共 10 篇相关文章

用户模拟器评估不可靠?新基准能捕捉全部10类失效
现有用户模拟器评估方法仅能检测10类失效中的5-6种,甚至偏好接受残缺工作的模拟群体。新研究提出结合效用与双层保真度的评估套件,在351段真实多轮会话中成功检测全部扰动,揭示群体级指标的盲区。

SciResearch-Eval:首个科学判断力基准,AI实验智能体如何校准",
SciResearch-Eval是首个结合智能体自主实验、缺陷模拟器与校准区间评分的科学判断力基准。93个任务、9个模型、2511回合揭示:多数模型在模拟器缺失物理时仍自信报错,Astra与Fable通过实验设计规避缺陷,推理强度可提升校准但代价高昂。

LLM验证器跨抽象边界可靠性测试:抽象导致31%判断失效
研究提出Verification Transport测试,衡量LLM验证器在抽象边界下的判断稳定性。实验覆盖四个基准、七种骨干、四种协议,发现宏抽象和委派导致约31%传输失败,恢复执行溯源可修复85.5%的失败。

ToolTurns:多轮对话工具使用基准,最强模型成功率仅39.8%
ToolTurns 是覆盖 2,620 个问题、1,827 个工具的多轮对话工具使用基准。评估显示最强智能体单请求成功率 69.6%,但完整对话完成率仅 39.8%,所有模型在后续追问上表现下降。

FrontierPhysics:物理研究智能体的端到端评估新基准
FrontierPhysics是由42位物理学家构建的端到端物理研究基准,包含56个覆盖理论、计算与实验物理的任务。测试显示22个模型26种配置无一能通过超过46/168次运行,主要短板在于推理严谨性与专家直觉不足。

Langfuse 实战:为 Harness 智能体打造可观测评估平台
基于 Harness 多智能体财务分析项目,系统讲解 Langfuse 开源 LLMOps 平台的核心概念:链路追踪、token 成本与延迟分析、提示词版本管理、自动与人工评估,并明确其能力边界,帮助团队构建企业级智能体可观测与评估体系。

智能体评估为何比RAG更难?金融财务分析实战拆解
智能体评估比RAG评估更复杂?从概率模型本质出发,以金融财务分析智能体为例,拆解智能体评估为何需要覆盖工具调用、数据读取和推理链路,而非仅看最终答案。

编码智能体长文档转化为何卡在最后一公里?临床试验方案数字化实证研究
实证研究揭示编码智能体在临床试验方案数字化中卡在"最后一公里":能找到证据却输在转录与结构化。TrialPD-Bench 基准与 TrialScribe 领域框架如何将开放模型提升最高 59.4 分。

ThinkingBox:微软用20次重复测试重新定义AI智能体可靠性
微软 ThinkingBox 基准测试通过507个有状态工作流、每个重复20次,以终态数据库状态为评分标准,揭示AI智能体发现能力与重复可靠性的巨大割裂,以及大量"干净失败"的隐患。

XiangqiBench:中国象棋揭示LLM智能体的闭环短板
arXiv 新研究 XiangqiBench 以中国象棋残局为载体,提出 LLM 智能体的闭环评估基准,揭示转化差距、一致性差距与模拟差距三大短板,指出找到好棋不等于赢得整盘棋。