多模态大模型
支持多种输入模态（文本、图像、音频、视频）的大语言模型，但多数仅支持多模态输入，输出仍以文本为主
核心事实
时间轴 (近 90 天)
研究采用两个数据集：SilCC（通过渐进复杂的抽象形状组合调控命名难度）和PixCC（通过增加随机视觉噪声提升识别难度）来比较人类与多模态大模型的联想创造力。
动态调整语义与感知信息的权重，即在推理时根据视觉不确定性自适应地调节语义先验与底层特征的贡献比例，是提升模型联想创造力的潜在机制。
当前MLLM倾向于依赖训练数据中的语义模式，而非灵活适应视觉不确定性。
人类在联想创造力上仍显著优于多模态大模型，尤其在面对难以命名的视觉刺激时，人类能产出更多样、更原创的描述。
在PixCC数据集中，人类表现出策略转变：从整体性语义联想转向描述低层视觉属性（如颜色、纹理），而MLLM更倾向于坚持语义层面的联想。
与多模态大模型相比，人类产出的联想描述具有更大的语义距离、更高的熵值，并出现更多新颖表达。
当证据跨越多张图片时，模型的整合能力明显下滑。
在 MMEnterprise-Bench 的实验中，研究团队评测了 10 个闭源和开源多模态大模型。
图像生成 Agent 的评审器依赖多模态大模型或专用评分模型，常见量化维度包括构图合理性、清晰度、风格一致性和提示词遵循度。
OpenVLHarness 团队在 22 个基准上进行了控制实验，发现单纯增加基础模型的推理预算带来的提升有限。
还有 19 条时间轴事件
全部知识事实 (20)
多模态大模型通过视觉编码器（Vision Encoder）将图像转化为高维向量表示，再与语言模型的文本理解能力融合
80%已验证当前大模型处理视频并非逐帧理解，而是通过智能采样从视频中抽取关键帧（通常每秒1-4帧）作为图像输入分析
75%待验证MiMo-V2.6 覆盖文本、图像、语音等多种模态，是全模态模型
70%待验证多模态大模型的架构核心必然包含一个大语言模型（LLM）在背后支撑
60%待验证若输入是音频，则可将Vision Encoder替换为Speech Encoder（语音编码器）进行编码对齐后输给大语言模型
60%待验证当前MLLM倾向于依赖训练数据中的语义模式，而非灵活适应视觉不确定性。
50%待验证人类在联想创造力上仍显著优于多模态大模型，尤其在面对难以命名的视觉刺激时，人类能产出更多样、更原创的描述。
50%待验证在PixCC数据集中，人类表现出策略转变：从整体性语义联想转向描述低层视觉属性（如颜色、纹理），而MLLM更倾向于坚持语义层面的联想。
50%待验证与多模态大模型相比，人类产出的联想描述具有更大的语义距离、更高的熵值，并出现更多新颖表达。
50%待验证研究采用两个数据集：SilCC（通过渐进复杂的抽象形状组合调控命名难度）和PixCC（通过增加随机视觉噪声提升识别难度）来比较人类与多模态大模型的联想创造力。
50%待验证在 MMEnterprise-Bench 的实验中，研究团队评测了 10 个闭源和开源多模态大模型。
50%待验证当证据跨越多张图片时，模型的整合能力明显下滑。
50%待验证图像生成 Agent 的评审器依赖多模态大模型或专用评分模型，常见量化维度包括构图合理性、清晰度、风格一致性和提示词遵循度。
50%待验证OpenVLHarness 团队在 22 个基准上进行了控制实验，发现单纯增加基础模型的推理预算带来的提升有限。
50%待验证视觉编码器的分辨率限制和 token 压缩会丢失图表中的细粒度信息（如小字号刻度、密集数据点），这是图表+文档推理成为短板的架构性原因之一。
50%待验证当前多模态大模型在图像描述、简单图表问答等任务上取得了进展，但在需要多步推理和跨元素整合的复杂场景中错误率仍然较高。
50%待验证语言模型部分缺乏对空间关系的显式建模能力，导致模型在需要精确数值读取与跨元素对齐的任务中容易出错。
50%待验证多模态大模型（MLLMs）是能够同时处理和理解文本、图像、音频、视频等多种模态信息的大规模神经网络模型，通常基于Transformer架构，通过在大规模多模态数据上进行预训练获得跨模态对齐能力。
50%待验证市面主流大模型中满足原生实时多模态输入输出（输入支持语音、图片、文字、视频，输出也包含语音在内的多模态）要求的几乎没有。
50%待验证在 WOVEN 评测中，即便最强的 MLLM 也远低于人类水平，失败模式在不同模型家族中反复出现，单纯扩大模型规模并不能消除这些缺陷。
50%