VLA策略脆弱性:同义词改写的选择与完成鸿沟

同义词改写使VLA选对物体却完不成任务,脆弱性分布在连接器两侧。
研究针对GR00T N1.7在LIBERO-Spatial任务上的表现,发现当指令中的地标词被同义词替换时,策略虽能正确选择同义词所指的物体,却无法完成任务,闭环完成率从100%降至67.6%。通过连接器前后的表征干预,作者证明语义信息到达了物体选择阶段但未到达完成阶段,且脆弱性分布在视觉-语言模型与动作生成器两侧。修复实验表明,在多样化地标词上微调(尤其是仅训练连接器)可恢复完成率,而仅用开环评分会遗漏连接器外权重的作用。据此建议:鲁棒性应在闭环中评估,干预需同时作用于连接器两侧,并分别对选择与完成评分。
视觉-语言-动作(VLA)模型在机器人控制中展现出潜力,但一项针对GR00T N1.7的研究揭示了一个关键问题:当指令中的关键词被同义词替换时,策略可能成功选择目标物体,却无法完成任务。这挑战了仅凭成功率评估鲁棒性的做法,并指出干预应同时发生在连接器两侧。

同义词暴露VLA的脆弱性
研究聚焦于LIBERO-Spatial的两个任务,它们仅在地标词上不同——即告诉机器人从两个碗中取哪一个的词。当训练指令中未出现的同义词被使用时,策略会走向同义词所指的碗,而不是原词所指的,这与完全编造的词不同。然而,在其中一个任务的闭环episode中,同义词仅完成67.6%,而原词达到100%。这表明策略理解了同义词的指代,却在执行阶段失败。
LIBERO-Spatial 是 LIBERO 基准中的一组机器人操作任务,专门设计用来考察策略对空间关系与指代关系的理解能力。在该基准中,每个任务通常配有自然语言指令,指令中会包含地标词(landmark word),用来区分外观相同但位置不同的物体,例如“把碗放进左边的抽屉”中的“左边”。LIBERO-Spatial 的任务往往只在少数几个词上存在差异,因此非常适合做受控的词汇替换实验:只要替换地标词,就能观察策略是依赖词汇语义还是依赖视觉线索。研究者常以闭环成功率作为主要指标,但该基准本身并不区分“选错物体”和“选对物体却没完成动作”这两种失败模式,这也是本文提出分离评分的重要背景。
选择与完成的分离
成功率无法揭示策略是选错了物体还是未能完成任务。通过分析连接器(视觉-语言模型与动作生成器之间的模块)前后的表征,研究者发现:在连接器之前,仅将地标词的向量替换为另一个地标词的向量(粘贴),几乎每个episode都会转向另一个碗;而在连接器之后,单独粘贴地标、剩余指令或图像词很少改变选择,但任意两个同时粘贴则会影响选择。此外,在连接器之后隐藏地标词仍会降低那些表现不佳的同义词的完成率。这证明意义到达了物体选择,但未到达完成阶段,且脆弱性分布在连接器两侧。
连接器(connector) 在 VLA 架构中通常指视觉-语言模型(VLM)与动作生成器之间的接口模块,负责把语言和视觉的联合表征转换成动作生成器可消费的输入,例如一组条件向量或 token。GR00T N1.7 采用类似的“VLM 主干 + 动作专家”结构,连接器既可以是轻量的投影层,也可以是交叉注意力适配器。由于连接器是语义信息进入动作空间的瓶颈,研究者通过在连接器前后分别做表征干预(如替换或遮挡特定词的向量),就能判断语义信息在哪一阶段丢失或被错误使用。这种干预方法借鉴了因果追踪(causal tracing)的思路,但这里作用于机器人策略的闭环执行过程,而非单纯的开环预测。
修复策略:微调与连接器复制
在多样化的地标词上微调可以修复该任务对未见过同义词的完成率,而在原始指令上微调则无效。仅训练连接器在多样化词汇上就足够,甚至将一个在多样化词上完全微调的策略的连接器复制到在原始指令上微调的策略中也能达到效果。有趣的是,仅对起始帧进行开环评分会遗漏连接器之外权重也承载了部分修复作用的事实。
开环评分 指只给定初始帧或固定观测序列,让策略预测动作序列并计算与专家动作的偏差,而不让策略真正在环境中执行。闭环评分则让策略根据自身动作引起的观测变化持续决策,直到任务结束。两者在 VLA 评估中差异显著:开环评分无法捕捉误差累积、状态分布偏移以及策略在关键步骤上的失败,因此可能高估或低估鲁棒性。本文发现,仅用起始帧做开环评分会遗漏连接器之外权重对修复的贡献,因为那些权重的影响只有在多步闭环执行中才会显现。这也说明,评估机器人策略时应优先采用闭环指标,并在必要时把选择正确性与任务完成度分开统计。
评估建议:闭环与分离评分
基于这些证据,研究者建议:对改写的鲁棒性应在闭环中判断(即执行动作),干预应同时发生在连接器两侧,并分别对选择与完成进行评分。这为VLA模型的评估和调试提供了更精细的视角。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。