[控场AI]
· 4 分钟阅读· 2,193 字

Claude Haiku 5.5 上线 Devin:性能反超 Sonnet 5,成本仅八分之一

Claude Haiku 5.5 上线 Devin:性能反超 Sonnet 5,成本仅八分之一

Claude Haiku 5.5 接入 Devin,以更低成本在编程评测中反超更大模型。

Claude Haiku 5.5 已在 Devin 平台全面可用,并在 FrontierCode 1.1 基准测试中取得 58.4%,超过 Sonnet 5,而单任务成本仅约为后者的八分之一。除作为独立模型选项外,它还进入 Devin Fusion 多模型协同框架的 sidekick 阵容,承担快速执行与代码补全等高频辅助任务。文章认为,这一更新折射出编程代理从唯性能论转向性能与成本最优平衡的趋势:真实工作流中大量重复性任务无需最强模型,且单次代理任务可能触发数十次调用,成本会被迅速放大。对开发者而言,这意味着模型选择更灵活,按任务性质动态匹配模型的“路由”思维或将成为常态。

AI 编程助手 Devin 的模型阵容迎来重要更新。Claude Haiku 5.5 现已正式接入 Devin,并在多项评测与成本指标上展现出对更大模型的竞争优势。

Claude Haiku 5.5 is now available in Devin

Devin 迎来 Claude Haiku 5.5

据 Devin 官方消息,Claude Haiku 5.5 已在平台内全面可用。对于日常使用 Devin 处理编程任务的开发者而言,这意味着他们现在可以在不牺牲过多性能的前提下,选择一款成本显著更低的模型。

Devin 作为一款主打自主编程能力的 AI 代理产品,其模型选择策略一直围绕任务类型与成本效益进行权衡。此次引入 Haiku 5.5,本质上是在“快速、廉价、够用”这一维度上补强了模型梯队。

FrontierCode 1.1 评测:58.4% 的成绩意味着什么

衡量模型编程能力的关键指标之一,是 FrontierCode 1.1 基准测试。Claude Haiku 5.5 在该评测中取得了 58.4% 的分数。

更具冲击力的是对比数据:这一成绩超过了 Sonnet 5,而后者的单任务成本约为 Haiku 5.5 的八倍。换句话说,开发者用八分之一的预算,就能获得一个在 FrontierCode 1.1 上表现更好的模型。

这种“小模型反超大模型”的现象,并非首次出现。随着模型蒸馏、训练数据筛选和推理效率优化的持续进步,轻量级模型在特定任务上的表现正快速逼近甚至超越上一代中量级模型。Haiku 5.5 的表现,是这一趋势在编程场景中的又一次有力验证。

FrontierCode 是当前业内较有影响力的编程基准测试之一,其题目通常取材于真实代码仓库中的问题修复、跨文件重构与算法实现任务,而非孤立的代码片段题。评测采用端到端执行验证的方式——模型给出的补丁需要通过隐藏测试用例才计分,因此较难通过模式匹配或记忆刷分。1.1 版本在前代基础上加强了多语言覆盖和长上下文依赖题型。在这种设计下,58.4% 属于中上水平,代表模型能稳定解决超过一半的真实工程问题。需要注意的是,不同版本、不同采样策略(如 pass@1 与 pass@k)的结果不可直接横向比较,且基准分数与具体项目中的实际体验之间仍可能存在偏差。

加入 Devin Fusion 的 sidekick 阵容

除了作为独立模型选项,Claude Haiku 5.5 还加入了 Devin Fusion 中的 sidekick 阵容。Devin Fusion 是 Devin 的多模型协同框架,允许不同类型的模型在任务中分工协作——例如由更强模型负责规划与复杂推理,而由 Haiku 5.5 这类高效模型承担快速执行、代码补全或子任务处理。

将 Haiku 5.5 纳入 sidekick 角色,说明 Devin 团队认可其在响应速度和成本效率上的优势,适合承担高频、低延迟的辅助性工作。

所谓 sidekick,指的是在代理工作流中承担辅助角色的次级模型,与主控模型形成分层结构。这一设计的动因在于代理式任务的调用分布极不均衡:规划、调试、跨模块推理等步骤数量少但难度高,而读写文件、生成补丁、格式化代码等步骤数量多但难度低。若全部由同一强模型处理,成本与延迟都会被高频低难度的步骤拉高。通过将后者路由给轻量模型,既保留了强模型在关键决策点的质量,又压缩了长尾开销。代价是引入额外的路由判断和上下文传递开销,若路由策略不佳,反而可能因小模型误判而产生返工。因此 sidekick 的选型标准通常是延迟低、指令遵循稳定、单位成本可控,而非单纯的分数高低。

为什么低成本模型正在编程场景中崛起

从 Devin 此次更新可以窥见一个更宏观的趋势:编程代理正在从“唯性能论”转向“性能与成本的最优平衡”。

一方面,真实开发工作流中大量任务是重复性、模式化的——生成样板代码、修复简单语法错误、编写测试用例等。这些任务并不需要最强模型,一个性价比极高的轻量模型反而能提升整体吞吐量。

另一方面,代理式编程(agentic coding)的兴起让单次任务可能触发数十次模型调用,累积成本迅速放大。在这种场景下,将部分调用分配给 Haiku 5.5 这样的模型,能显著降低每任务的平均开销。

Devin 选择在此时将 Haiku 5.5 同时作为独立选项和 Fusion sidekick 引入,正是对这一趋势的直接回应。

对开发者的实际影响

对于 Devin 用户,短期内最直接的收益是模型选择更加灵活。面对简单任务,选用 Haiku 5.5 可以节省成本;面对复杂任务,仍可切换至更强模型或依赖 Fusion 的协同机制。

长期来看,这也在推动一种新的使用习惯:开发者不再只关注“哪个模型最强”,而是根据任务性质动态匹配模型。这种“模型路由”思维,可能成为 AI 编程工具的标准操作方式。

Claude Haiku 5.5 在 Devin 的上线,表面看是一次常规的模型更新,背后却折射出 AI 编程工具在性能、成本与协同架构上的三重演进。

#Claude Haiku 5.5#Devin#FrontierCode 1.1#Sonnet 5#AI编程#Devin Fusion#AI代理#模型成本
分享:

相关推荐