人类与多模态LLM的联想创造力差异：抽象视觉刺激实验

研究背景：当视觉刺激难以命名

人类交流中，概念联想是核心能力。但当我们面对难以用熟悉语义概念映射的视觉刺激时，人类和多模态大模型（MLLM）会如何调整联想策略？一项最新研究通过控制视觉刺激的命名难度，系统比较了双方在联想创造力上的表现。

研究采用两个数据集：SilCC 通过渐进复杂的抽象形状组合调控命名难度；PixCC 通过增加随机视觉噪声提升识别难度。参与者包括人类和多个先进MLLM，评估维度为创造力的两个核心指标——原创性（originality）和有效性（effectiveness）。

实验设计：双数据集与难度操控

SilCC：抽象形状组合的命名挑战

SilCC数据集通过组合多个抽象形状，逐步增加语义映射的复杂性。例如，从简单几何图形到多层嵌套的非命名形状，迫使参与者放弃直接命名，转而进行联想描述。这种设计模拟了现实世界中“难以言说”的视觉体验。

PixCC：噪声干扰下的视觉识别

PixCC则通过在图像上叠加随机噪声，逐步降低视觉清晰度。随着噪声水平提高，图像逐渐失去可识别的语义特征，参与者需要从低层视觉属性（如颜色、纹理）中提取线索，而非依赖整体语义。

低层视觉属性指图像中不依赖语义识别的基础特征，包括颜色、亮度、对比度、纹理、边缘与空间频率等。与之相对，整体性语义联想依赖于物体识别与概念归类，例如将一团模糊形状判断为“像一只动物”。在噪声干扰下，高层语义特征最先受损，而低层特征仍可被提取。人类能够主动将注意力从“这是什么”转向“它看起来像什么质地/颜色/形状”，这种从语义层向感知层的策略下移，是应对视觉不确定性的重要认知灵活性表现。

核心发现：人类联想更具多样性

语义距离与熵值更高

与MLLM相比，人类产出的联想描述在多个维度上表现出更高多样性：语义距离（描述与参考词汇的偏离程度）更大，熵值（描述分布的混乱度）更高，且出现了更多新颖表达。这意味着人类能够跳出常规语义框架，生成更独特的联想。

难度增加时的策略分化

在SilCC中，随着命名难度上升，所有参与者的有效性均出现下降。但在PixCC中，人类表现出明显的策略转变：从整体性联想（如“像一只动物”）转向描述低层视觉属性（如“边缘模糊的灰色块”）。而MLLM则更倾向于坚持语义层面的联想，即使视觉信息已严重不足。

语义距离是衡量联想创造力的关键量化指标之一，通常定义为生成描述与参考语义空间（如词向量空间或概念本体）之间的偏离程度。距离越大，意味着描述越偏离常规、越具新颖性。熵值则借自信息论，用于刻画一组描述在语义类别上的分布混乱度：熵越高，说明参与者的联想越分散、越不集中于少数常见概念，从而反映更高的多样性。两者结合，可以区分“随机乱说”与“有意义的原创”：前者语义距离大但有效性低，后者则在保持可理解性的同时实现高距离与高熵。

对多模态模型开发的启示

这项研究揭示了当前MLLM在联想创造力上的局限：它们倾向于依赖训练数据中的语义模式，而非灵活适应视觉不确定性。对于需要高度创造性的任务（如艺术生成、隐喻理解），模型可能需要引入更灵活的联想机制，例如动态调整语义与感知信息的权重。

同时，人类在困难条件下的策略转变（从语义到感知）为模型设计提供了仿生思路：当语义映射失效时，转向低层特征描述可能是一种有效的适应性策略。

多模态大模型（MLLM）通常由视觉编码器与大型语言模型通过对齐层连接而成，其训练目标侧重于将视觉输入映射到预训练语言模型已掌握的语义概念上。这种架构使模型在标准识别任务中表现优异，但在视觉输入模糊或缺乏对应命名概念时，容易“强行”套用训练数据中的语义先验，而非退回到低层感知描述。所谓动态调整语义与感知信息的权重，即在推理时根据视觉不确定性自适应地调节语义先验与底层特征的贡献比例，是提升模型联想创造力的潜在机制。

结论

人类在联想创造力上仍显著优于多模态大模型，尤其在面对难以命名的视觉刺激时，人类能产出更多样、更原创的描述。随着难度增加，人类灵活调整联想层次，而模型则表现出一定的僵化性。这一发现为提升MLLM的创造性提供了方向。