待验证50% 置信事实精确时间
多模态RAG常见做法包括用视觉编码器（如CLIP）将图片映射为向量，与文本向量共处同一语义空间，实现“以文搜图”或“以图搜文”。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证当前主流多模态LLM通过视觉编码器（通常是CLIP或ViT系列）将图像转换为token序列，再经线性投影层或交叉注意力机制与文本空间对齐76% 相似待验证现代AI绘图工具普遍使用CLIP或其改进版本作为文本编码器，将文字描述映射至与图像语义对齐的向量空间73% 相似待验证图像条件化方案通常借助CLIP视觉编码器（ViT架构）将参考图映射到与文本嵌入共享的语义空间，再通过交叉注意力（Cross-Attention）机制将视觉特征注入UNet的去噪过程73% 相似已验证CLIP模型能将图片和文字映射到同一向量空间，实现跨模态检索73% 相似已验证图像生成模型通常采用CLIP或类似跨模态编码器将文本映射为高维向量，再由U-Net或DiT架构在潜空间逐步去噪生成图像72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1059958API
curl https://kongchang.com/api/v1/knowledge/claims/1059958MCP
get_claim(id=1059958)