[控场AI]
基准Legal Agent Benchmark

Harvey LAB

法律 AI 领域的 Agent 基准测试,模拟真实律师工作流,要求模型具备多步骤推理、文档检索、条款比对和结构化输出等端到端任务完成能力,采用 all-pass 全通过口径评分

时间轴 (近 90 天)

10月13日

Z.ai 推出的 GLM-Legal 模型在 Harvey LAB 法律 Agent 基准测试中取得 19.2% 的全通过率,超越了 Claude Fable 5 和 Kimi K3。

待验证50%
10月13日

Harvey LAB(Legal Agent Benchmark)模拟真实律师工作流的 Agent 任务,要求模型具备多步骤推理、文档检索、条款比对和结构化输出等综合能力。

待验证50%
10月13日

Harvey LAB 采用 all-pass(全通过)口径,模型必须在任务的所有子环节都正确,任何一步出错即不计入。

待验证50%
10月13日

Harvey LAB 每个测试案例的运行成本约为 0.15 美元。

待验证50%
10月13日

GLM-Legal 在 Harvey LAB 上的 19.2% 全通过率意味着在大多数任务上模型仍需人类律师兜底。

待验证50%
10月13日

Harvey LAB 来自行业内部而非学术机构,其任务设计更贴近律所的真实工作流。

待验证50%

全部知识事实 (6)

来源文章