GDPVal
GDPVal是一个用于评估AI语言模型综合能力的基准测试,涵盖多种实际任务场景的性能评估
时间轴 (近 90 天)
新模型在GDPVal达到1620分(上一代735),OSWorld从15.7%提升到72.4%,Terminal Bench从0.0%提升到39.2%,人类最后的考试无工具从10.2%到45.9%、带工具从18.7%到57.4%
通义千问Flash版起步价为0.03和0.13美元,GLM在GDPVal上跑到1647分
Anthropic 称 Haiku 5.5 在 GDPVal、Agentic Coding 等部分指标上表现高于 GPT-6 Luna
在GDPVal基准上GPT-6 Luna得1437分,低于Haiku 5.5的1620分
在GDPVal基准上,Haiku 5.5得1620分,Haiku 4.5得735分
在 GDPVal 基准上 Opus 5.5 得 1846 分,Astra 得 1542 分
Grok 4.7在Deep SWE软件工程评测拿到71.0%,TerminalBench 38.0%,在GDPVal评测以1695的Elo仅次于Fable 5.1的1735
全部知识事实 (8)
GDPVal基准测试覆盖44个职业和9大行业,任务直接来源于真实职场场景
80%待验证GDPval(General Domain Performance Validation)是一个综合性大语言模型评估基准,涵盖推理、知识问答、代码生成、多语言理解等维度
70%待验证通义千问Flash版起步价为0.03和0.13美元,GLM在GDPVal上跑到1647分
50%待验证新模型在GDPVal达到1620分(上一代735),OSWorld从15.7%提升到72.4%,Terminal Bench从0.0%提升到39.2%,人类最后的考试无工具从10.2%到45.9%、带工具从18.7%到57.4%
50%待验证Anthropic 称 Haiku 5.5 在 GDPVal、Agentic Coding 等部分指标上表现高于 GPT-6 Luna
50%待验证在GDPVal基准上GPT-6 Luna得1437分,低于Haiku 5.5的1620分
50%待验证在GDPVal基准上,Haiku 5.5得1620分,Haiku 4.5得735分
50%待验证在 GDPVal 基准上 Opus 5.5 得 1846 分,Astra 得 1542 分
50%