LUMIR：解耦多模态表示学习提升POI推荐

多模态推荐的新思路：解耦表示学习与下游模型

多模态旅游信息日益丰富，如何有效利用这些异构数据提升推荐效果成为研究热点。然而，现有方法通常将多模态融合与特定下游模型的架构和优化目标紧密耦合，导致学到的表示缺乏通用性和可复用性。针对这一问题，研究者提出LUMIR框架，通过解耦多模态表示学习与下游优化，为学习可复用的多模态表示提供了新范式。

LUMIR框架的核心设计

LUMIR是一个基于对比学习的解耦多模态表示学习框架。其核心思路分为三个步骤：

语义统一：LLM驱动的文本空间映射

首先，从异构数据源收集的多模态信息（如图像、文本等）通过大语言模型（LLM）进行语义统一，映射到一个共享的文本表示空间。这一步消除了不同模态之间的语义鸿沟，为后续融合奠定基础。

为什么以文本空间作为共享表示空间？ 在视觉、语言等模态之间，语义对齐通常依赖大规模配对数据或专门的跨模态编码器，训练成本高且难以泛化到新领域。大语言模型在预训练阶段已吸收海量文本知识，对图像描述、物品属性等异构信息的语义理解较为充分，因此借助LLM将各模态内容转写为自然语言描述，再以文本编码器统一嵌入，可以绕开模态专属编码器的适配难题。这一做法的代价是信息在“转写”过程中可能被压缩或丢失（如细粒度视觉风格），但换来的是跨领域、跨模态的低成本对齐，也是LUMIR实现解耦的前提——表示空间不再依赖下游模型的任务结构。

交互感知融合与序列约束

接着，设计交互感知融合机制来建模跨模态交互。同时，序列信号被作为结构约束引入，指导表示学习过程。这种设计使得学到的表示既包含多模态信息，又保留了序列推荐所需的时序结构。

对比学习与序列约束的作用机制。 对比学习的核心是拉近正样本对（如同一物品在不同模态或不同增强视图下的表示）、推远负样本对，从而在无任务标签的情况下塑造判别性表示。在多模态场景中，这能迫使不同模态的信息在共享空间中相互靠拢而非互相淹没。序列约束则解决另一个问题：单纯做模态对齐得到的表示可能丢失用户行为的先后次序，而序列推荐高度依赖“近期偏好”与“转移模式”。将序列信号作为结构约束引入，相当于在对比目标之外加一层时序正则，使表示同时具备跨模态一致性与时序可分辨性，二者共同决定了表示能否被下游骨干直接复用。

解耦带来的优势

与现有方法不同，LUMIR将表示学习与下游推荐模型的优化目标分离。这意味着学到的多模态表示可以独立于特定模型进行训练和复用，提升了表示的通用性。

端到端紧耦合范式的局限。 传统多模态推荐常把融合模块直接嵌入某个推荐网络，并以点击或下次访问的损失端到端训练。这样学到的表示与特定骨干的容量、归纳偏置和优化路径深度绑定，换一个模型就需要重训，融合模块也难以单独评估。解耦的含义是把表示学习视为独立的预训练阶段，以自监督目标（如对比学习）优化，产出一份可迁移的表示；下游模型只在此表示之上做轻量适配。其优势在于：表示可跨模型、跨场景复用；表示质量可独立于具体任务评估；新骨干接入时无需重跑昂贵的多模态融合训练，显著降低工程与算力成本。

实验验证：多骨干模型下的性能提升

研究者在多模态兴趣点（POI）数据集上，以next-POI推荐为设定，在多个序列推荐骨干模型上评估了LUMIR学到的表示。结果表明，LUMIR在面向准确性的指标和超越准确性的指标上均持续优于现有多模态融合基线。这证明了将表示学习与下游优化解耦是一种有效的范式，能够学习到可复用的多模态表示。

代码已公开在GitHub仓库（https://github.com/wzehui/LUMIR），供研究者复现和进一步探索。

对推荐系统研究的启示

LUMIR的提出反映了多模态推荐领域的一个趋势：从端到端的紧耦合设计转向模块化、可复用的表示学习。通过利用LLM统一异构模态的语义，并以对比学习解耦表示与任务，该方法为后续研究提供了可借鉴的思路。未来，如何将该范式扩展到更多模态和推荐场景，值得进一步探索。