EmoGenie：首个AI生图情感基准，MLLM能否读懂画中情？

AI画图越来越强，但它真的能画出你想要的情绪吗？一张标着"孤独"的图，可能看起来只是"阴天"；一张要求"狂喜"的插画，可能被模型理解成"微笑"。更棘手的是，多模态大模型（MLLM）在评价这些AI图像时，是否真的"看懂"了其中的情感？

近期一项研究提出了 EmoGenie，试图系统性地回答这个问题。这是目前少有的、同时覆盖生成图像所表达的情感与观者被唤起的情感的统一基准，并配套提出了评估模型 EmoProbe。

EmoGenie 论文页面

为什么需要专门的情感基准？

现有的情感计算基准大多建立在自然图像之上，比如真实照片中的人脸表情、场景氛围。而针对AIGC图像的情感研究，又几乎集中在人像领域——看生成的人脸是否开心、悲伤或愤怒。

这留下了一个明显的空白：

非人像的AI图像（风景、抽象画、物体组合）表达了什么情感？
观者看到这些图像后，被唤起了什么情感？
这两个层面是否一致？MLLM能否区分？

论文指出，生成图像所传达的情感效果经常偏离目标预期，而MLLM能否可靠解读AI生成视觉内容的情感，此前并不清楚。EmoGenie 正是为填补这一空白而设计。

EmoGenie 里有什么？

EmoGenie 由两个核心部分组成，分别面向"问答理解"和"连续评分"。

EmoGenie-QA：9万道情感题

研究团队用 800条情感目标提示词，驱动 8个T2I模型生成了 6,400张图像，并围绕这些图像构建了问答对。

EmoGenie-QA 包含：

90,000道封闭式问题，覆盖单图与图像对两种设定
1,057道开放式问题，要求模型描述图像中的情感

这意味着它不只考"选A还是选B"，还考察模型能否用自然语言把情感讲清楚。

EmoGenie-Assess：连续情感与美学评分

除了问答，EmoGenie 还收集了 13,175个平均 opinion 分数（MOS），这些分数来自人类对图像的连续评分，涵盖四个维度：

Valence（效价）：情感的正负倾向
Arousal（唤醒度）：情绪的激烈程度
Dominance（支配感）：观者的掌控感
Aesthetic quality（美学质量）：图像好不好看

这四个维度共同构成了对AI图像情感体验的细致刻画，而不只是简单的"开心/难过"标签。

Valence-Arousal-Dominance（VAD）模型是情感计算中广泛使用的三维框架。Valence 描述情感的正负方向（如快乐为正、恐惧为负），Arousal 描述情绪的激活或激烈程度（如愤怒高唤醒、平静低唤醒），Dominance 则描述个体在情境中感到掌控还是被支配。相比离散的"基本情绪"标签（如喜、怒、哀、惧），VAD 能捕捉更细腻、连续的情感状态，也便于跨模态、跨文化比较。将 VAD 与美学质量并列评估，意味着该基准不仅关心图像"传递什么情绪"，还关心"观者感受是否愉悦、是否觉得好看"，从而更贴近真实审美体验。

EmoProbe：把问答和回归接在一起

为了在这个基准上取得好成绩，研究者设计了 EmoProbe。它的思路是把情感问答与响应对齐的、维度特定的回归头结合起来，用于连续分数预测。

简单说，EmoProbe 不只让MLLM回答问题，还让它在回答的同时输出对 valence、arousal 等维度的连续预测。

实验结果显示出两个关键结论：

在情感相关QA任务上，EmoProbe 表现更优；
它的情感与美学预测与人类评分相关性更好。

论文将这一能力概括为"统一的、从粗到细的AI生成图像情感理解"。

**多模态大语言模型（MLLM）**通常由视觉编码器与语言模型组成，能够接受图像与文本输入并生成文本回答，例如 GPT-4V、LLaVA、Qwen-VL 等。它们在视觉问答任务上表现突出，但输出以离散文本为主，难以直接给出连续数值。**回归头（regression head）**则是一个附加在模型特征之上的小型神经网络，用于预测连续标量，如情感效价或唤醒度。EmoProbe 将二者结合：让 MLLM 负责理解与回答情感问题，回归头负责输出维度分数，从而在同一框架内兼顾"说得清"与"量得准"。

对AI绘画与模型评估意味着什么？

EmoGenie 的价值不只是一个新数据集。它触及了两个更实际的问题。

第一，文生图模型的"情感可控性"有了可量化的检验工具。 过去我们只能凭感觉说"这张图不够悲伤"，现在可以用800条情感提示词和6400张图像做系统性对照。

第二，MLLM作为"AI评委"的可靠性需要被审视。 如果MLLM本身就读不懂AI图像的情感，那么用它来自动评估、自动打分、自动筛选生成结果，就会建立在一个不可靠的基础上。EmoGenie-Assess 用人类MOS作为参照，正是在检验这一点。

对于做AI绘画产品、情感计算研究或模型评估的团队来说，EmoGenie 提供了一个可复用的测试床：既能测生成模型，也能测理解模型。

局限与待解问题

这项工作的边界也很清楚。800条提示词、8个T2I模型、6400张图像，规模在情感基准中不算小，但情感本身高度主观，跨文化、跨个体的差异很难被单一MOS完全捕捉。

另外，EmoProbe 目前是配合该基准提出的方法，它在其他图像分布、其他MLLM上的泛化能力，还需要更多独立验证。