LUMIR
基于对比学习的解耦多模态表示学习框架,利用LLM将异构模态映射到共享文本空间,结合交互感知融合与序列约束,实现与下游推荐模型优化的解耦,提升表示的通用性和可复用性。
时间轴 (近 90 天)
LUMIR是一个基于对比学习的解耦多模态表示学习框架。
LUMIR通过大语言模型(LLM)将图像、文本等异构模态信息映射到一个共享的文本表示空间。
以文本空间作为共享表示空间的代价是信息在转写过程中可能被压缩或丢失(如细粒度视觉风格)。
LUMIR设计交互感知融合机制来建模跨模态交互,并将序列信号作为结构约束引入表示学习过程。
LUMIR将表示学习与下游推荐模型的优化目标分离,学到的表示可独立于特定模型进行训练和复用。
解耦范式下,新骨干接入时无需重跑昂贵的多模态融合训练,可显著降低工程与算力成本。
研究者在多模态兴趣点(POI)数据集上,以next-POI推荐为设定,在多个序列推荐骨干模型上评估了LUMIR学到的表示。
实验结果表明,LUMIR在面向准确性的指标和超越准确性的指标上均持续优于现有多模态融合基线。
LUMIR的代码已公开在GitHub仓库 https://github.com/wzehui/LUMIR。
全部知识事实 (9)
LUMIR是一个基于对比学习的解耦多模态表示学习框架。
50%待验证LUMIR通过大语言模型(LLM)将图像、文本等异构模态信息映射到一个共享的文本表示空间。
50%待验证以文本空间作为共享表示空间的代价是信息在转写过程中可能被压缩或丢失(如细粒度视觉风格)。
50%待验证LUMIR设计交互感知融合机制来建模跨模态交互,并将序列信号作为结构约束引入表示学习过程。
50%待验证LUMIR将表示学习与下游推荐模型的优化目标分离,学到的表示可独立于特定模型进行训练和复用。
50%待验证解耦范式下,新骨干接入时无需重跑昂贵的多模态融合训练,可显著降低工程与算力成本。
50%待验证研究者在多模态兴趣点(POI)数据集上,以next-POI推荐为设定,在多个序列推荐骨干模型上评估了LUMIR学到的表示。
50%待验证实验结果表明,LUMIR在面向准确性的指标和超越准确性的指标上均持续优于现有多模态融合基线。
50%待验证LUMIR的代码已公开在GitHub仓库 https://github.com/wzehui/LUMIR。
50%