AutomationBench
面向AI Agent自动化任务执行能力的评测基准，用于评估模型在自动化工作流场景中的综合表现
核心事实
时间轴 (近 90 天)
在 AutomationBench 和 VitaBench 上，SpecAgent 恢复了两模型质量差距的 44% 到 75%，同时降低了延迟和内存开销。
GLM-5.3-Flash 在 AutomationBench 上得48.8分，领先 Claude Opus 4.8 的41.0分和 GPT-5.6 Terra 的37.2分，单任务成本约0.045美元。
Mistral Large 4 在 AutomationBench（657 个业务流程）上得分 59.9%，在 AA-Briefcase 上获得 1393 Elo。
OpenAI称GPT-6.1 Sol在AutomationBench自动化测试中领先前代4.8分，并比Anthropic的Opus 5.5高出2.2分
在DeepSuite上GPT-6.1 Sol领先Sonnet 5.5约4.2分，而Sonnet在AutomationBench上以8.7分优势胜出
Argon在Zapier的AutomationBench上以51.3%排名第一
GPT-6 Sol High在Automation Bench上的单项任务成本仅为Opus 5的十分之一
V4.1 Flash在DeepSWE、CyberDream、AutomationBench这些Agent基准上都拿到第一名
全部知识事实 (6)
GPT-6 Sol High在Automation Bench上的单项任务成本仅为Opus 5的十分之一
65%待验证在 AutomationBench 和 VitaBench 上，SpecAgent 恢复了两模型质量差距的 44% 到 75%，同时降低了延迟和内存开销。
50%待验证OpenAI称GPT-6.1 Sol在AutomationBench自动化测试中领先前代4.8分，并比Anthropic的Opus 5.5高出2.2分
50%待验证在DeepSuite上GPT-6.1 Sol领先Sonnet 5.5约4.2分，而Sonnet在AutomationBench上以8.7分优势胜出
50%待验证Argon在Zapier的AutomationBench上以51.3%排名第一
50%待验证V4.1 Flash在DeepSWE、CyberDream、AutomationBench这些Agent基准上都拿到第一名
50%