AesCode
一种美学代码生成方法,通过解耦的跨模态奖励机制,将图像作为审美指导并最终输出可编辑代码,用于生成幻灯片、海报、仪表盘等信息密集型视觉产物
时间轴 (近 90 天)
论文《AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards》提出了用同一提示词生成的图像作为审美指导、但最终交付代码的代码生成范式。
AesCode 将目标表示成设计图(design graph),描述整个画布,并使位置、配色、层级关系等每个属性都可归因到具体的图元素和关系上。
AesCode 使用互补的跨模态奖励机制,包含确定性验证器和 VLM 评判器两类奖励。
确定性验证器负责评估能从代码和渲染中解析的属性,如元素对齐、尺寸匹配、内容正确呈现,这类奖励可验证、可复现。
VLM 评判器使用与设计图元素和关系绑定的样本级视觉图评分标准(Visual Graph Rubric, VGR)来判断审美质量。
两类奖励被解耦后,通过带逐通道归一化(per-channel normalization)的强化学习进行联合优化。
研究者构建了一个新基准,将可验证正确性和视觉质量分开计分,其中视觉分数与人类判断高度一致。
实验发现参考图像显著提升现有模型生成代码的视觉质量。
消融实验表明 AesCode 从两个方向受益于参考图:既作为模型输入,也作为视觉奖励的来源。
AesCode 依赖从同一提示词生成参考图,该环节的质量会影响最终效果;VLM 评判器的引入也意味着训练和评估成本不低。
全部知识事实 (10)
论文《AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards》提出了用同一提示词生成的图像作为审美指导、但最终交付代码的代码生成范式。
50%待验证AesCode 将目标表示成设计图(design graph),描述整个画布,并使位置、配色、层级关系等每个属性都可归因到具体的图元素和关系上。
50%待验证AesCode 使用互补的跨模态奖励机制,包含确定性验证器和 VLM 评判器两类奖励。
50%待验证确定性验证器负责评估能从代码和渲染中解析的属性,如元素对齐、尺寸匹配、内容正确呈现,这类奖励可验证、可复现。
50%待验证VLM 评判器使用与设计图元素和关系绑定的样本级视觉图评分标准(Visual Graph Rubric, VGR)来判断审美质量。
50%待验证两类奖励被解耦后,通过带逐通道归一化(per-channel normalization)的强化学习进行联合优化。
50%待验证研究者构建了一个新基准,将可验证正确性和视觉质量分开计分,其中视觉分数与人类判断高度一致。
50%待验证实验发现参考图像显著提升现有模型生成代码的视觉质量。
50%待验证消融实验表明 AesCode 从两个方向受益于参考图:既作为模型输入,也作为视觉奖励的来源。
50%待验证AesCode 依赖从同一提示词生成参考图,该环节的质量会影响最终效果;VLM 评判器的引入也意味着训练和评估成本不低。
50%