AesCode：解耦跨模态奖励的美学代码生成新范式

代码生成的美学困境

让AI生成幻灯片、海报或仪表盘这类信息密集型的视觉产物，一直存在一个核心矛盾：代码模型能产出结构化、可编辑、可验证的代码，但它"看不见"布局和颜色在画布上最终如何组合。这导致它在空间规划和审美品质上长期受限。

另一条路是用图像生成器直接产出视觉效果，它们擅长设计，却常常在内容渲染上出错——文字乱码、图标错位、元素缺失。把这种不可靠的输出当作直接复制的目标，风险很高。

论文《AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards》提出了第三条路：用同一提示词生成的图像作为审美指导，但最终交付的仍是代码。

AesCode 论文来源页面

设计图：让每个属性都可归因

AesCode 的核心做法，是把目标表示成一张设计图（design graph）。这张图描述整个画布，并把每一个属性都变得可归因——谁决定了位置、谁决定了配色、谁决定了层级关系，都能追溯到具体的图元素和关系上。

这种表示方式的好处在于，它把一个模糊的"好不好看"问题，拆解成了可操作的一组属性。代码能直接解析和渲染出来的属性，交给确定性验证器打分；代码层面难以解析的属性，则交给视觉语言模型（VLM）判断。

解耦的跨模态奖励机制

AesCode 最关键的创新，是设计了互补的跨模态奖励（complementary cross-modal rewards）：

确定性验证器：负责评估能从代码和渲染中解析的属性，比如元素是否对齐、尺寸是否匹配、内容是否正确呈现。这类奖励是可验证、可复现的。
VLM 评判器：负责评估无法解析的属性，它使用一种与设计图元素和关系绑定的样本级视觉图评分标准（Visual Graph Rubric, VGR），来判断审美质量。

两类奖励被解耦后，通过带**逐通道归一化（per-channel normalization）**的强化学习进行联合优化，从而同时提升空间规划、审美品质和可验证正确性。

这种解耦设计的价值在于：它避免了用单一奖励信号同时约束"内容对不对"和"好不好看"——这两件事的本质不同，混在一起容易顾此失彼。

逐通道归一化（per-channel normalization） 是强化学习中处理多目标奖励的一种技术。当模型同时优化多个奖励信号（如确定性验证器和VLM评判器）时，不同奖励的数值尺度可能差异很大——例如对齐分数的范围是0到1，而审美分数的范围可能是0到10。如果直接加权求和，尺度大的奖励会主导梯度更新，导致模型忽视尺度小的目标。逐通道归一化对每个奖励通道分别减去均值、除以标准差，把它们映射到可比的尺度上再联合优化。这样不同来源的奖励在训练中贡献更均衡，避免某一维度被压制。

VLM（视觉语言模型） 是一类能同时理解图像和文本的模型，典型代表包括GPT-4V、Qwen-VL等。在AesCode中，VLM评判器接收渲染后的画布图像和设计图信息，输出审美质量评分。它擅长察觉人类能感知但代码难以量化的属性，如视觉平衡、色彩和谐、留白节奏等。不过VLM评判也存在局限：评分可能受提示词措辞影响，且对同一图像的多次评分可能不完全一致，因此需要与确定性验证器互补使用。

基准测试：正确性与视觉质量分开打分

为了评估这一设定，研究者构建了一个新基准，把可验证正确性和视觉质量分开计分。其中视觉分数与人类判断高度一致，说明这个自动评分标准能较好地反映人的真实感受。

实验中有两个值得关注的发现：

参考图像显著提升现有模型生成代码的视觉质量。即使是已有的模型，只要给它参考图，视觉品质就会有明显改善。
消融实验表明，AesCode 从两个方向受益于参考图：既作为模型输入，也作为视觉奖励的来源。这意味着参考图不只是"看一眼"的提示，还能参与训练信号的构造。

可验证正确性与视觉质量的分开计分，对应了代码生成视觉产物中两类本质不同的目标。可验证正确性关注客观事实：文字内容是否与输入一致、元素数量是否正确、布局是否满足硬性约束（如不重叠、不越界）。这类指标可以用确定性规则或解析器自动判定，无需主观判断。视觉质量则涉及审美偏好：配色是否协调、层次是否清晰、整体是否美观，必须依赖人类评分或VLM近似人类判断。

把两者分开的意义在于避免“正确但难看”或“好看但错漏”的样本被单一分数掩盖。例如一张海报颜色漂亮但标题错字，如果只给综合分，模型可能误以为方向正确。分开打分后，训练和评估都能定位具体短板，这也是AesCode解耦奖励机制在评测层面的呼应。

性能对比：逼近闭源前沿模型

在相同参考图条件下，与同规模的 Qwen3-VL 基线相比：

AesCode-8B 的视觉质量提升了 31.1 个百分点
AesCode-32B 提升了 22.4 个百分点

更重要的是，这两个模型的得分已经可以与 GPT-5.5、Claude Opus 4.8 等闭源前沿模型相媲美。对于一个开源规模级别的模型来说，这个结果相当有说服力。

Qwen3-VL 基线是指与AesCode同规模、同架构基础的Qwen3-VL模型，但未经过AesCode的奖励优化训练。选择同规模基线对比，是为了排除模型参数量差异带来的优势，纯粹衡量AesCode训练方法带来的增益。31.1和22.4个百分点的提升，意味着在相同的参考图输入条件下，经过解耦跨模态奖励优化的模型在视觉质量上大幅超越原始基线。

GPT-5.5、Claude Opus 4.8代表当前闭源前沿多模态模型，通常参数量更大且训练资源远超开源规模。AesCode-8B和AesCode-32B能在视觉质量得分上与之媲美，说明训练范式的改进可以在不盲目扩大参数量的前提下逼近顶级效果，这对开源社区和资源受限的研究者尤为重要。

为什么这件事值得关注

代码生成视觉产物这条路线，本质上是把"设计"变成"可编辑、可验证的结构化内容"。AesCode 的贡献不只是刷高了分数，而是给出了一个可复用的思路：

当任务同时包含客观正确性和主观审美时，不要试图用单一奖励去统一它们。拆开、分别建模、再联合优化，反而更容易让模型在两个维度上都做好。

对于需要批量产出演示稿、报告封面、数据看板的应用场景来说，这种"以图为审美指导、以代码为交付物"的范式，可能比单纯的图像生成或纯代码生成都更实用。

局限与展望

从论文信息看，AesCode 依赖从同一提示词生成参考图，这个环节本身的质量会影响最终效果。此外，VLM 评判器的引入也意味着训练和评估成本不低。设计图表示的构建方式、以及 VGR 的泛化能力，都是后续值得观察的方向。

不过就目前披露的结果而言，把可验证正确性与审美质量解耦处理，已经为代码美学生成提供了一个扎实的技术起点。

设计图（design graph） 的构建方式目前依赖从提示词或参考图中解析元素与关系。如果提示词含糊或参考图质量低，设计图可能缺失关键属性，导致奖励信号不完整。此外，设计图的 schema 设计——包括支持哪些元素类型、哪些关系、哪些属性——直接影响泛化能力。对于训练时未见过的新布局类型，设计图表示和VGR评分标准可能无法准确覆盖，这是从基准到真实应用需要跨越的鸿沟。

VGR（Visual Graph Rubric） 将评分标准绑定到设计图的元素和关系上，使VLM评判更具针对性。但VGR本身需要人工设计或从数据中归纳，其质量决定了VLM评判的上限。如果VGR遗漏了某种审美维度，模型就不会朝那个方向优化。未来如何自动生成或自适应扩展VGR，是提升泛化性的关键方向之一。