[控场AI]
模型LUMIR框架

LUMIR

基于对比学习的解耦多模态表示学习框架,利用LLM将异构模态映射到共享文本空间,结合交互感知融合与序列约束,实现与下游推荐模型优化的解耦,提升表示的通用性和可复用性。

时间轴 (近 90 天)

11月11日

LUMIR是一个基于对比学习的解耦多模态表示学习框架。

待验证50%
11月11日

LUMIR通过大语言模型(LLM)将图像、文本等异构模态信息映射到一个共享的文本表示空间。

待验证50%
11月11日

以文本空间作为共享表示空间的代价是信息在转写过程中可能被压缩或丢失(如细粒度视觉风格)。

待验证50%
11月11日

LUMIR设计交互感知融合机制来建模跨模态交互,并将序列信号作为结构约束引入表示学习过程。

待验证50%
11月11日

LUMIR将表示学习与下游推荐模型的优化目标分离,学到的表示可独立于特定模型进行训练和复用。

待验证50%
11月11日

解耦范式下,新骨干接入时无需重跑昂贵的多模态融合训练,可显著降低工程与算力成本。

待验证50%
11月11日

研究者在多模态兴趣点(POI)数据集上,以next-POI推荐为设定,在多个序列推荐骨干模型上评估了LUMIR学到的表示。

待验证50%
11月11日

实验结果表明,LUMIR在面向准确性的指标和超越准确性的指标上均持续优于现有多模态融合基线。

待验证50%
11月11日

LUMIR的代码已公开在GitHub仓库 https://github.com/wzehui/LUMIR。

待验证50%

全部知识事实 (9)

来源文章