目标图像是控制指令：空间接地目标图像合成如何重塑机器人操作

一个被广泛接受的假设，正在拖慢机器人操作研究

目标条件操作策略（goal-conditioned manipulation policy）的核心输入是一张目标图像——它描绘了操作完成后的期望场景，由当前观察和语言指令合成而来。研究界长期以来的默认逻辑是：图像编辑质量越好，目标图像就越有效。于是，目标生成器大多按照通用图像编辑指标来设计和比较。

这篇论文直接挑战了这个假设。作者在 CALVIN 基准上测试了两种独立的目标条件策略后发现：那些在图像编辑质量排行榜上名列前茅的编辑器（如 Gemini 3 Pro Image、GPT Image 1.5），作为控制目标反而比不过小得多的微调开源模型。更关键的是，这个差距在多步长程任务上被急剧放大——而这恰恰是真实机器人面对的场景。

为什么编辑质量与策略成功率脱钩？

维度拆解：操作依从性才是关键

论文做了逐维度分析，结论相当清晰：下游策略的成功几乎完全由操作依从性（manipulation adherence）决定——也就是是否选对了物体、是否生成了正确的最终状态。这一维度与成功率的 Spearman 相关系数约为 0.9。

相比之下，照片级真实感（photorealism）和美学保真度（aesthetic fidelity）与成功率的相关性接近于零。而这两项恰恰是大规模闭源编辑器的强项。论文在 CALVIN 和真实世界对齐的 SIMPLER-Bridge 基准上都验证了这一解离现象。

这个发现对研究社区的启示是直接的：用 FID、CLIP Score 这类编辑质量指标来挑选目标生成器，可能选出的恰恰是不适合做控制目标的模型。

Spearman 相关系数是一种非参数统计量，用于衡量两个变量之间的单调相关性，取值在 -1 到 1 之间。与 Pearson 相关系数不同，它不要求变量服从正态分布或呈线性关系，而是基于变量的秩次（排名）计算。在机器人操作研究中，当需要评估某个中间指标（如图像编辑质量、操作依从性）与最终策略成功率之间的关联强度时，Spearman 相关系数常被用作分析工具。相关系数接近 1 表示两个排名高度同向变化，接近 0 则表示二者基本独立。论文报告操作依从性与成功率的 Spearman 相关系数约为 0.9，意味着按这一维度排序几乎能准确预测策略成功率的排序；而照片真实感和美学保真度的相关系数接近零，说明它们在统计上与成功率无关联。

长程任务的惩罚更重

单步任务中，编辑质量的误导性还算温和；一旦进入多步链式操作，错误会累积。论文指出，最好的闭源编辑器在最长五步链上的成功率，大约只有其 SGE-Goal 微调模型低七倍。这说明目标图像不仅是一张"看起来对"的图，更是一个需要精确空间接地的控制信号。

**链式任务（long-horizon chained tasks）**指机器人需要连续完成一系列子目标才能达成最终任务的操作设定，例如“打开抽屉→取出物体→放到桌面→关闭抽屉”这样由多个步骤串联而成的流程。与单步任务不同，链式任务中每一步的输入观察都依赖于上一步的执行结果，因此早期步骤的误差会向后传播并累积，形成复合误差。CALVIN 基准正是为评估这类长程操作而设计：它要求策略在连续指令序列下完成多个子任务，并记录平均完成链长。论文强调，目标图像如果只“看起来对”但空间上不够精确，在单步任务中可能只造成一次失败，但在五步链中则可能因一个子目标偏差而导致后续全部步骤偏离，这正是闭源编辑器在长链任务上成功率骤降而 SGE-Goal 微调模型保持稳定的原因。

SGE-Goal：先定位，再生成

论文提出的 SGE-Goal 是一个空间接地的分解式编辑框架。它的核心思路是把目标图像合成拆成两步：先预测初始和最终的 2D 编辑区域掩码，再基于掩码生成目标图像。

这种分解让开源基座模型（FLUX.1 Kontext、FLUX.2 klein）被转化为实验中最强的目标生成器：在 CALVIN 上排名第一，在 SIMPLER-Bridge 上仅次于 Gemini 3 Pro Image。而经过 SGE-Goal 微调的基座模型在链式任务中的稳定性远超最好的闭源编辑器。

论文同时释放了代码、数据集、检查点和一个人工对齐的诊断评估器，这对社区复现和后续研究是实质性贡献。

**图像编辑中的“区域掩码”（edit region mask）**是一个与输入图像同尺寸的二值或软权重图，用来指示编辑操作应当发生的位置和范围。在分解式目标图像合成中，模型首先预测出“初始状态需要改动的区域”和“最终目标状态对应的区域”，然后再以这些掩码为空间约束，引导生成模型只在这些区域内合成内容。这种做法的优势在于把“改哪里”和“改成什么”解耦：掩码预测负责空间接地（spatial grounding），生成模型负责外观合成。与端到端直接生成目标图像相比，掩码提供了显式的空间先验，能显著降低生成模型在无关区域产生幻觉或篡改的风险，也使得操作依从性——即是否选对物体、是否到达正确最终状态——更容易被保证。

对目标生成器选型的启示

这项工作的核心论点可以概括为：目标生成器必须按下游效用（downstream utility）来选，而不是按编辑质量排行榜来选。对于做机器人策略学习的研究者和工程师，这意味着评估流程需要调整——把策略成功率作为目标生成器选型的第一指标，而不是先看图像编辑指标再假设它有效。

空间接地的分解式编辑提供了一条可行路径：与其追求更逼真的图像，不如让模型学会"该改哪里"。这个方向与当前具身智能中对空间推理能力的强调是一致的，也暗示了目标图像合成与视觉编辑两个领域的评价体系需要分道扬镳。

论文的局限在于，SGE-Goal 依赖基座模型的编辑能力，且分解式框架引入了额外的掩码预测误差来源。不过从结果看，这种误差远小于追求照片级真实感带来的控制信号损失。