PlayGround：基于渲染反馈的渐进式布局生成框架

AI 生成平面设计时，最常见的问题不是「画得不好看」，而是「改不动」。生成一张不可编辑的海报，对设计师来说价值有限。让 AI 在保持内容与可编辑性的前提下，把文字和视觉元素编排成协调的版面，才是真正进入设计工作流的前提。

近期一项名为 PlayGround 的研究提出了渐进式布局生成框架，核心思路是让模型像人类设计师一样「边画边看边调整」，而不是一开始就定死全局方案。

已有方案的天花板：计划在执行前就已固定

近年来基于多模态大语言模型（MLLM）的设计生成方法，已经在尝试模拟真实的设计流程——迭代生成、视觉精修。但这些方法有一个共同的局限：高层规划在执行前就已经确定。

换句话说，模型先想好「先放标题、再放主图、右下角放 logo」，然后按部就班执行。设计一旦开始渲染，模型无法根据当前画面实际效果来调整后续步骤。如果第一组元素放上去后发现留白不够、层级混乱，后续操作只能硬着头皮继续。

这种「先计划后执行」的范式，与设计师的真实工作方式相去甚远。人类设计师会根据当前画布上的实际呈现，动态决定下一步放什么、放哪里、怎么调整。

多模态大语言模型（MLLM） 是指能够同时处理和理解文本、图像等多种模态信息的大语言模型，例如 GPT-4V、LLaVA 等。与纯文本 LLM 不同，MLLM 可以将图像作为输入的一部分，结合视觉编码器提取的图像特征与文本 token 一起送入 Transformer 进行推理。在设计生成任务中，MLLM 通常负责理解用户需求、推断设计意图并输出布局规划或代码。其优势在于具备跨模态的语义理解能力，能够根据自然语言描述生成合理的版面结构。但受限于自回归生成范式和上下文窗口，MLLM 在生成长序列的精细布局时容易出现累积误差，且难以在生成过程中回头修改已输出的内容，这也是「计划在执行前就已固定」这一局限的技术根源之一。

PlayGround 的核心机制：渐进式设计循环

PlayGround 的核心是一个渐进式设计循环，由四个组件协同工作：

结构感知检索器（Structure-Aware Retriever）：给定一组无序的初始元素，它先推断出粗略的布局结构，然后从参考库中检索结构相似的已完成设计。这相当于设计师在动手前先翻翻参考案例。

渐进式规划器（Progressive Planner）：这是框架的核心。每一轮，它都会同时审视当前渲染画布和剩余未放置的元素，决定下一步应该形成哪个功能组、这个组应该怎么构图。关键在于，它的决策依据是「当前画面实际长什么样」，而非预设的全局计划。

布局生成器（Layout Generator）：根据规划器的指令，预测可编辑的布局属性——位置、尺寸、对齐关系等。

视觉验证器（Visual Verifier）：对渲染出的候选方案进行评估，当质量不达标时提供反馈，触发精修。

这个循环反复执行，每次处理一组功能元素，直到所有元素被合理放置。整个过程中，模型始终基于「已渲染出的画面」来规划下一步，实现了真正的渲染驱动的规划。

功能组（Functional Group） 是指在设计中承担同一语义或视觉功能的元素集合。例如，一个海报的标题、副标题和作者信息可以构成「文字信息组」，主视觉图和背景色块可以构成「视觉主体组」，而 logo、二维码和版权声明则可能构成「标识信息组」。功能组的划分并非单纯依据元素类型，而是结合语义角色、空间邻近性和视觉层级来综合判断。在 PlayGround 中，每一轮规划器只处理一个功能组，而不是单个元素或全部元素，这样既降低了单步决策的复杂度，又保证了组内元素之间的布局协调性。功能组的粒度选择会直接影响生成质量和迭代轮数：粒度过细会导致轮次过多、效率下降，粒度过粗则可能丧失渐进调整的灵活性。

两阶段数据流水线：让规划器学会「逐步思考」

要让渐进式规划器具备逐步决策的能力，需要步级别的监督数据。但现有设计数据集的标注通常只包含最终布局，没有记录「先放什么、后放什么、每一步为什么这样放」的过程信息。

研究团队构建了一个两阶段数据生成流水线：先从已完成的设计中提取功能组（即哪些元素在语义和视觉上属于同一组），再还原出逐轮的规划轨迹。这样，规划器就能学习到类似人类设计师的决策序列——先建立主体结构，再填充细节，最后调整平衡。

步级别监督（Step-level Supervision） 是相对于传统的结果级监督而言的。在布局生成任务中，结果级监督只要求模型输出的最终布局与真实设计一致，而不关心中间过程；步级别监督则要求模型在每一轮决策时都做出合理的规划动作，例如「当前应该放置哪个功能组」「该组应放在画布的哪个区域」「组内元素如何对齐」。这种监督信号更接近人类设计师的思维过程，能够引导模型学会逐步推理而非一次性预测。获取步级别标注的成本很高，因为真实设计稿通常只保留了最终图层信息，不记录创作顺序。因此，研究团队通过逆向工程的方式从完成的设计中还原规划轨迹，本质上是一种弱监督或自监督的数据构造策略，在缺乏人工逐步标注的情况下为规划器提供了可学习的决策序列。

实验验证：在两个基准上超越现有方法

在 Crello 和 LICA 两个设计布局数据集上，PlayGround 的表现优于现有方法。这两个基准涵盖了多样化的设计场景，能够检验框架在不同类型版面生成任务中的泛化能力。

研究团队表示代码和权重将公开释出，这对希望在此基础上做产品化尝试的团队来说是一个积极信号。

为什么「渐进式」比「一步到位」更接近实用

从产品视角看，PlayGround 的价值不在于生成了多好看的设计，而在于它生成的设计是可编辑的——每个元素的布局属性都被显式预测，用户可以在生成结果上继续修改。

更重要的是，渐进式框架天然支持人机协作。设计师可以在任意一轮介入，调整当前画布，模型会基于修改后的画面继续规划后续步骤。这种交互模式比「生成一版不满意就重新生成」要高效得多。

当然，渐进式也意味着更多的计算轮次和更复杂的推理流程，如何在质量和效率之间取得平衡，是后续工程化需要面对的问题。

可编辑布局（Editable Layout） 指的是生成结果以结构化的形式保存每个元素的位置、尺寸、旋转角度、对齐关系等属性，而非一张扁平的位图。这种表示方式使得用户可以在 Figma、Sketch 等设计工具中直接选中、移动、缩放或替换任意元素，而不会破坏整体版面的其他部分。与之相对的是端到端图像生成模型（如 Stable Diffusion）直接输出的像素级图像，虽然视觉效果好，但几乎所有元素都被烘焙进像素中，修改一处往往需要重新生成整张图。PlayGround 的布局生成器显式预测布局属性，本质上是在输出一种「可解析的设计文件」，这使其能够无缝接入现有的设计工作流，也是其区别于纯图像生成方案的核心产品价值之一。