[控场AI]
· 3 分钟阅读· 1,926 字

LongBanana:专家验证的长上下文多参考图像合成基准

LongBanana:专家验证的长上下文多参考图像合成基准

LongBanana 基准以图 grounded 评估和智能体框架,推动多参考图像合成的可审计评测。

LongBanana 是一个面向长上下文多参考图像合成的新基准,要求模型从大量参考图中检索证据、排除干扰、绑定实体关系并生成连贯图像。它包含 90 个专家设计的任务,每个任务平均约 32 张参考图、20 条约束和 50 个评估项,总计 4,670 个原子评估项。评估采用图 grounded 设计,将实体-关系图的节点、边和全局义务转化为内容保真、关系绑定、全局约束满足三类检查清单。配套的 LongBanana-Gen 智能体框架实验表明,极简 harness 已优于直接生成,而 RPR 工作流能通过强化证据 grounding 和修复带来依赖 harness 的增益。该基准为比较智能体图像生成系统提供了可审计的共同目标。

多参考图像合成正从单图编辑走向“检索证据—排除干扰—绑定关系—生成连贯画面”的长上下文任务。近日发布的 LongBanana 基准,试图为这一代智能体驱动的图像生成系统提供可审计的测试床。

LongBanana 基准发布

任务定义:从多个参考图中“拼”出一张图

LongBanana 要求模型在分散的视觉证据中检索可用信息,拒绝与任务无关的干扰图,正确绑定实体与关系,最终合成一张连贯图像。这与传统文生图或单参考图编辑的差别在于:参考图数量多、约束密集,且需要跨图推理。

基准包含 90 个精心设计的任务,按 3×3 分类体系组织。每个任务平均包含约 32 张参考图、20 条约束和 50 个评估项,总计 4,670 个由专家指定的原子评估项。任务密度之高,意味着模型不能靠“碰巧生成得像”过关。

评估设计:用实体关系图约束生成结果

LongBanana 的核心创新是图 grounded 的评估方式。每个任务配有参考图和一张实体-关系图,评估时将节点、边和整图层面的义务转化为检查清单,对应三个维度:

  • Content Fidelity(内容保真):生成图是否包含应有的实体;
  • Relational Binding(关系绑定):实体之间的空间、属性关系是否正确;
  • Global Constraint Satisfaction(全局约束满足):整图是否满足全部约束条件。

这种设计让评估从模糊的整体打分转向可逐项核对的原子判断。专家标注方面,基准包含 15% 的双标子集,精确一致率为 89.4%,二次加权 kappa 为 0.83,说明标注质量在可接受范围内。

实体-关系图(Entity-Relationship Graph, ERG) 是一种将图像内容结构化为图结构的表示方法:节点代表图像中的实体(如物体、人物、背景元素),边代表实体之间的空间、属性或语义关系(如“左侧”“上方”“颜色为红色”“手持”)。在 LongBanana 中,每个任务都配有一张这样的图,它充当了生成任务的“约束蓝图”。评估时,系统将图中的节点、边以及整图层面的全局义务(如“所有实体均不重叠”)转化为可逐项核对的原子检查项,从而把传统上模糊的整体相似度打分,转变为基于图结构的、可审计的离散判断。这种设计使得评估结果具有更高的可解释性和可复现性,也为比较不同生成系统提供了统一的度量框架。

LongBanana-Gen:智能体框架的增益与边界

配套的 LongBanana-Gen 是面向长程图像生成的智能体框架。实验显示,即使是极简的智能体编排(minimal agent harness)也能优于直接生成;而采用 ReAct-Plan-Exec-Reflect(RPR)工作流后,性能提升依赖于所用 harness——RPR 通过强化证据 grounding 和修复环节带来收益。

这一结果值得注意:智能体并非“加上就灵”,其效果与框架设计强相关。对开发者而言,这意味着长上下文图像生成的能力上限,可能更多取决于如何组织检索、规划与修复流程,而非单纯扩大模型规模。

ReAct-Plan-Exec-Reflect(RPR)工作流 是一种面向长程生成任务的智能体编排模式,其名称概括了四个核心阶段:Plan(规划) 要求智能体根据任务约束和参考图制定生成计划;Exec(执行) 指调用图像生成模型产出中间或最终图像;Reflect(反思) 让智能体对照约束检查生成结果并识别偏差;ReAct 则强调在规划与执行过程中融入推理与行动的交织循环,即根据反思结果动态调整后续步骤。与极简 harness 相比,RPR 通过显式的证据 grounding 和修复环节来提升生成质量,但其增益高度依赖于具体实现——如果规划或反思环节设计不当,额外的复杂性反而可能引入噪声。这一框架的意义在于,它将长上下文图像生成视为一个需要多步推理与迭代优化的过程,而非单次前向生成。

对行业的意义

LongBanana 把“多参考图合成”从演示性案例推向可量化评测。它提供的 4,670 个原子评估项和可审计的图约束,为比较不同智能体图像生成系统提供了共同目标。代码与数据已在项目页面 https://long-banana.com/ 公开。

后续值得关注的是:该基准能否覆盖更开放的真实场景,以及 RPR 之外的智能体工作流能否在相同 harness 下复现增益。

#LongBanana#多参考图像合成#长上下文图像生成#图像生成基准#智能体图像生成#LongBanana-Gen#RPR 工作流
分享:

相关推荐