论文精读·第11期：智能体几何短板与世界模型记忆革命

今天这波论文我翻了一遍,有个感觉特别强烈. 大家都在给agent补课,补的都是同一门课.

你的感觉没错. 本周这几篇,表面看是蛋白质、CAD、机器人导航,其实全在问一件事: agent到底懂不懂它操作的这个世界.

那就别绕了,你先给我说说最能说明问题的那篇.

ProteinGeoBench. 结论先抛: 前沿模型查资料很行,算几何很菜.

等一下,查资料和算几何,这不都是它该会的吗?

重点就在这里. 131个蛋白质结构任务里,四个前沿模型有三个查元数据比数值计算强,第四个反过来.

那分数差得大吗,还是挤在一起分不出高下?

三个模型全挤在0.785到0.816之间,统计上分不出谁强. 第四个掉到0.707,才是真差距.

所以榜单排名这事儿,本身就有点玄学.

对,这就是它最有意思的地方. 每个任务只跑一次的话,23.9%的重采样里第一名会换人.

这个数字我记一下. 意思是评测预算一变,冠军就变.

还有个细节: 数值任务只占28个,但四家全挂的12个任务里,一半是数值. 数值就是硬骨头.

换成自家命令行agent,分数会动多少?

上下浮动-0.071到+0.086. 说明评测外壳本身也在悄悄影响结论.

那这篇的实用价值在哪,总不能只是告诉大家榜单不可信吧.

反过来看就是产品机会. 一个结构生物学agent,数值计算必须单独加工具、单独验证,别指望模型自己心算.

明白了,查得到不等于算得对. 好,下一个,AnyGoal这篇我也很想聊.

它戳的是世界模型的软肋. 专家轨迹里见过的状态和动作,拆开都熟,一组合就失灵.

这不就是我们做产品最怕的那种情况吗,单点都会,串起来就崩.

完全一个意思. 而且作者强调,这些组合还在训练分布之内,不是完全没见过的新东西.

所以在训练集范围内,它就已经开始乱了?

对. 多个环境和多种世界模型家族上,这种重组失败都稳定出现. 不是个别模型的毛病.

那这背后是不是说明,现在世界模型学的是记忆,不是动力学?

说到点子上了. 它更像是把轨迹背下来了,而不是抽出了规律. 一换目标就露馅.

所以结论是,世界模型要真能用,得拿组合泛化当核心指标来练.

对. 不然规划就是空中楼阁. 好,接着聊MemT-1.0,这篇我自己看完挺兴奋的.

名字听着就像要跟检索增强抢饭碗.

它想干的事更大. 把记忆做成模型计算的一部分,不再是外挂一个向量库.

等会儿,那它靠什么做记忆,总不能还是往上下文里塞吧.

Gated DeltaNet-2做token级记忆更新,再加一个Mixture-of-Storage扩容量. 相当于模型自带笔记本.

效果呢,我最关心的是长历史下的成本.

128K历史长度,Nano版本端到端推理快了约1.86倍,持久存储比全量KV cache少66倍.

这个存储压缩比有点狠啊.

更关键的是它把检索到的经验内化进模型,agent任务成功率也跟着涨. 这是它跟RAG拉开差距的地方.

所以它比检索增强平均更强,同时通用能力基本没掉?

素材里说的是平均超过参数化记忆基线,和检索增强打平,通用能力大体保住. 算务实的一步.

说起来,CAD那篇其实也是同一个病根. 看着能跑,物理上一塌糊涂.

FunCADBench,46个机构家族. 核心招法是FunCAD-Harness,把模糊需求翻译成每个候选方案自己的物理测试.

这招聪明,不同机构本来就不该用同一套标准验.

对,它靠仿真反馈去驱动迭代. 结果能抓出肉眼看不出来的机械失效,功能成功率比标准仿真基线明显高.

然后WildAWM那篇,直接给电脑操作agent造训练环境,这个思路我喜欢.

它把GUI、MCP服务和命令行三种接口合成在同一个可执行环境里. 而且全程开源模型驱动,没用闭源前沿模型.

多少任务,难不难?

341个长周期环境任务对,有的要上百步才解得完. GPT-6-Astra也才解出60%.

它还专门解决任务能不能做、够不够难、验证器靠不靠谱这三个老问题.

用执行质量门来做,异构rollout加交叉裁判一致性,再加反事实探针. 这套挺工程化的.

那我串一下今天这五篇. 从蛋白质到CAD到电脑操作,全在说一句话.

你说说看.

agent会查会看会说,但一到要自己算、自己组合、自己被物理检验的地方,短板就露出来了.

补一句,所以评测也得跟着变. 单次跑分靠不住,组合泛化和成本效率才是真指标. 记忆内生化,我判断会是明年agent架构的主线之一.