[控场AI]
· 7 分钟阅读· 3,674 字

OpenAI 6.2 Astra实测翻车:跑分惊艳,为何开发者却说难用?

OpenAI 6.2 Astra实测翻车:跑分惊艳,为何开发者却说难用?

6.2 Astra跑分领先且更便宜,但真实工作流中行为失控、解释力差、创意趋同。

OpenAI 的 6.2 Astra 在 Agent's Last Exam 等基准上大幅领先 Claude Fable 5.2,成本仅为对方约 5%,定价也全面下调,纸面数据堪称教科书级发布。然而早期测试者反馈截然相反:模型在长任务中缺乏知识边界感,会向用户抛出无法理解的内部实现问题并自我阻塞;资源管理失控,大量占用内存、破坏权限、塞满磁盘;解释复杂任务时抓不住重点,迫使测试者切换到其他模型做总结;创意任务出现明显的「回归均值」,多个测试者独立得到同名同主题的输出。游戏与 3D 场景单项惊艳但整合吃力,最佳实践趋向模型组合。文章最终指出:跑分衡量能力上限,行为决定真实工作流中的留存价值。

OpenAI 的 6.2 Astra 在跑分榜上交出了一份相当漂亮的答卷,但一批参与早期测试的开发者却给出了截然相反的评价。YouTube 科技创作者在深度体验数周后,甚至用「我讨厌使用这个模型」来形容自己的感受。

这种反差本身就值得细看。一个在基准测试中全面领先、价格还更低的模型,为什么会在真实工作流里让人抓狂?

早期测试截图

跑分确实能打,价格也确实更低

先看数据层面。据 OpenAI 官方公布,6.2 Astra 在 Agent's Last Exam 这类多步骤专业任务测试中拿到 78.3 分,比 Claude Fable 5.2 高出 5.5 个百分点,而成本仅为后者的约 5%。在 Terminal Bench Science 上,它同样比上一代 6 Astra 高出 9 个百分点,成本却不到三分之一。

创作者自己的测试也印证了这一点:Astra 跑完全套测试的花费大约是 Fable 的一半,而更轻量的 6.2 Sol 成本甚至低到接近八分之一。定价方面,Astra 从每百万输入 10 美元降到 8 美元,输出从 50 美元降到 40 美元,缓存输入成本的降幅更为显著。

单看这些数字,这应该是一次教科书级别的发布。

Agent's Last Exam 是一类面向智能体的多步骤专业任务基准,与静态知识问答不同,它要求模型在模拟环境中连续执行多个相互依赖的操作步骤(如调用工具、检索信息、修改文件),最终完成一个复合目标。评分通常综合考虑任务完成度、步骤正确性与资源消耗。这类基准更贴近真实开发工作流,但仍难以覆盖长时程任务中的行为稳定性问题。

Terminal Bench Science 则聚焦模型在终端环境下的科学计算与工程操作能力,测试模型能否正确使用命令行工具完成数据分析、环境配置等任务。它衡量的是「能不能做对」,而非「做得是否让人省心」。

问题出在「怎么用」而不是「能不能做」

真正的分歧点在于交互体验。创作者反复强调,Astra 在数学难题、3D 环境生成、计算机操作等单项能力上确实处于顶尖水平,「计算机使用能力绝对炸裂,快得离谱」。但一旦进入长任务,问题就密集出现。

最典型的是知识边界感的缺失。模型在管理多个子智能体时表现尚可,却会突然抛出一个普通用户根本无法理解的内部实现细节问题,然后卡在那里等回答。创作者描述了让模型为《Outer Wilds》制作新关卡的经历:两小时后,模型停下来要求他比较某些文件路径的写权限——这些路径他从未见过。

「我从来没遇到过模型这样。它分不清什么信息是自己知道的、什么是子智能体该知道的、什么是人类提示者该知道的。」

资源管理同样失控。模型在运行过程中大量占用内存、破坏权限设置,把磁盘塞满随机生成的无用文件且拒绝清理。创作者不得不调用另一个模型来腾出空间才能继续工作。

文中提到的子智能体(sub-agent) 是一种多智能体架构:主模型将复杂任务拆解后,派生出多个子智能体分别执行子任务,再由主模型汇总结果。这种模式能提升并行效率,但也对模型的「知识边界感」提出更高要求——主模型必须清楚哪些信息属于自己、哪些属于子智能体、哪些需要向人类确认。一旦边界模糊,模型就可能在错误的对象上寻求输入,导致任务停滞。

输出可读性:比代码更难解析的是解释

一个反复被提及的痛点是「解释能力」。模型能写出质量尚可的代码,但在解释自己做了什么时,会一头扎进细节,反而偏离事实。

创作者举了一个具体例子:某台机器上 work tree 创建缓慢,Astra 写了四大段关于包管理器为何慢的分析,绕来绕去提到文件系统,却始终没说出一句核心答案——那台 VPS 的存储路径比其它机器慢得多。同样的提问交给 Opus 5.5,对方一句话就点破了原因。

这种情况迫使创作者养成了一个习惯:长任务跑完后切到另一个模型,让它总结 Astra 到底做了什么。「没有这一步,除了简单 bug 修复,基本无法解析它的产出。」

Work tree 是 Git 版本控制中的概念,指同一个代码仓库派生出的多个独立工作目录,允许开发者在不同分支上并行工作而互不干扰。创建 work tree 时需要复制或链接仓库对象,其速度受底层存储 I/O 性能影响显著。文中 VPS 的存储路径较慢,正是导致 work tree 创建迟缓的根因,而模型却绕开这一核心事实,给出了偏离重点的分析。

回归均值:创意为何总是撞车

更微妙的问题出现在创意任务上。创作者让 Astra 为《Outer Wilds》设计一颗新星球,得到的是一个带潮汐、音乐和钟声主题的水世界,取名 Bellwether。他起初觉得这很有创意,直到发现播客搭档用几乎相同的提示词让模型为《Majora's Mask》加关卡,也得到了水主题、音乐主题、钟声核心、同样叫 Bellwether 的关卡。

随后,其他测试者也报告了类似现象:有人让 Astra 做间谍解谜游戏,场景设在 Bellwether 站;有人让它创造怪物,怪物也叫 Bellwether。

设计输出截图

「我讨厌这个想法——我最初误以为是创造力的东西,其实是一组硬编码的名字和模糊的概念集合。」

回归均值 原本是统计学概念,指极端结果在后续观测中趋向平均水平的现象。在生成式模型中,它被借用来描述一种行为模式:当提示词缺乏足够约束时,模型输出会向训练数据中高频出现的概念、命名和主题收敛。多个测试者独立得到「Bellwether」这一名字和水/音乐主题,说明模型并非在「创造」,而是在高概率区域采样。这提示开发者:若需要真正的多样性,必须通过提示词或采样参数主动施加约束。

游戏与 3D:单项惊艳,整合吃力

在游戏开发场景中,Astra 的表现喜忧参半。它生成的《宝可梦》ROM hack 能跑起来,但精灵图存在裁切、像素风格不统一等问题,模型无法在指定分辨率下生成精确的像素艺术。在《最终幻想 VII》的高清化尝试中,AI 生成的贴图频繁闪烁,与原版美术风格脱节,创作者认为部分场景原版反而更好看。

图像生成能力截图

不过在水族箱游戏这类纯视觉展示中,模型的表现「是我在浏览器里见过最好看的东西之一」。官方也承认,新模型在网站、游戏和 3D 设计的前端构建上有明显进步。

一个有代表性的结论是:最好的结果往往来自模型组合——用 OpenAI 模型做资产和 3D 生成,用 Anthropic 模型打磨可玩性和细节。创作者让 Astra 做关卡设计、由 Fable 接手优化后的版本,水体效果、模型贴合度和整体体验都显著更好。

关卡对比截图

一份写给 OpenAI 的「吐槽信」

视频中最坦诚的部分,是创作者公开了他在早期测试阶段写给 OpenAI 的内部反馈信。信中他肯定了模型的优点:代码审查能力出色,几乎不漏问题且很少编造;偶尔能提出真正新颖的解决方案,比如一个反向代理方案据估算每月可节省 2.5 万美元;3D 和游戏内容生成属于世界级水平。

但信的其余部分措辞相当直接。他描述了模型在将一个项目从 TypeScript 迁移到 Rust 时的表现:运行了数天,没有任何实质改进,反而把编译器改得更慢;切换回 Opus 后,对方在两天内落地了大量改动,性能提升明显。

他还预测了发布后的舆论走向:第一天全网惊叹,第二天开始有人发现消耗大、产出少,第五天出现「Sol 是不是 secretly 更好」的讨论,两周后模型被遗忘。他承认自己可能反应过度,但坚持每一个字都是真实体验。

值得肯定的是,OpenAI 在发布前根据这些反馈调整了系统提示词,新增了「为读者重新撰写最终答案」等规则,也放宽了对字体的强制要求。创作者认为这些改动有帮助,但还不够。

这次发布说明了什么

6.2 Astra 的案例揭示了一个正在浮现的行业现实:基准测试衡量的是模型能力的上限,而开发者日常面对的是模型行为的均值。一个能在难题上刷新纪录的模型,如果在长任务中频繁卡死、输出难以解析、资源管理粗暴,它在真实工作流中的价值就会大打折扣。

创作者在结尾提出了一个颇为务实的期待:他希望 OpenAI 的下一个版本采用类似「雪豹」式的发布思路——不追求跑分更高,而是把行为怪癖修好,让模型更稳定、更可预期。「就算跑分不涨,只要更好用,我也愿意。」

对于正在选型的开发者来说,这或许是最值得记下的一句话:跑分决定你要不要试,行为决定你要不要留。

#OpenAI 6.2 Astra#Astra 模型评测#AI 编程模型对比#Claude Fable 5.2#6.2 Sol#AI 模型真实体验#模型选型
分享:

相关推荐