MLLM

新一代多模态大语言模型（MLLM）语义理解能力的提升使得用户不再需要掌握特定的提示词语法即可生成高质量视频

用户偏好方面，BLV 参与者略微更偏好人类撰写的音频描述，但同时认为 MLLM 生成的描述对理解视频很有帮助。

论文声称该工作首次系统检验了 MLLM 在端到端内联音频描述任务上的表现。

论文分析表明，前沿 MLLM 在视觉事件描述的准确性上表现良好，且大幅减少了语音重叠。

论文分析表明，前沿 MLLM 在内联音频描述的叙事节奏与流畅度上存在明显短板。

接触密集型任务（如装配、插拔、擦拭）需要精确力控与高频反馈，视觉分辨率不足以支撑亚厘米级对齐，必须依赖本体感知的实时调整，而通用 MLLM 的推理频率通常远低于此类任务所需的控制频率。

VLA 与 WAM 相比通用 MLLM 的关键差异在于经过动作空间对齐，输出直接落在机器人可控的指令空间内。

SUPRA-TEX的阶段一训练了一个基于多模态大语言模型（MLLM）的图像编辑模型，用于在参考视角下预测光照分离的PBR材质图，输出反照率、粗糙度、金属度等通道。

在MLLM中挂载外部3D几何编码器的典型做法是：将3D编码器输出的几何特征通过投影层或交叉注意力注入到LLM的隐状态中，每次前向推理都必须完整运行编码器。

GeoThinker-F 是一个让多模态大语言模型（MLLM）摆脱外部3D编码器依赖的空间智能框架，通过让模型内生预测所需的空间表示来实现空间推理。

研究者对 50 个 MLLM 进行了评测，结果显示开源模型整体仍落后于闭源模型，这一差距在音视频理解任务上尤为明显。

即便在领先模型上，精确的时序与空间定位仍然是尚未解决的核心挑战，模型在粗粒度语义理解上表现尚可，但在精确定位任务上有明显缺口。

在配对设置下，同一个目标用纯文本描述或用文本+图像引导时，模型预测会出现不一致，说明其对目标的理解可能依赖提示形式而非真正的多模态语义。

当前多数 MLLM 的音频编码器与视觉编码器在预训练阶段相互独立，导致联合推理时容易退化为优先信任某一模态。

现有基于 MLLM 的设计生成方法存在共同局限：高层规划在执行前就已经确定，设计开始渲染后模型无法根据当前画面实际效果调整后续步骤。

MLLM 在生成长序列的精细布局时容易出现累积误差，且难以在生成过程中回头修改已输出的内容，这是「计划在执行前就已固定」这一局限的技术根源之一。

EmoGenie 为文生图模型的情感可控性提供了可量化的检验工具，并可用于审视 MLLM 作为 AI 评委的可靠性。

EgoOmniWorld 的评测对象是能够同时处理视频、音频、文本的多模态大语言模型。

多模态大语言模型（MLLMs）指能够同时处理文本、图像、音频、视频等多种模态输入并生成文本输出的大规模模型，代表性工作包括 GPT-4o、Gemini、Qwen-VL 等。

对当前前沿 MLLM 的评估结果显示，模型在局部感知任务上表现较强，但在长时程音频-视觉推理方面明显薄弱。