#多模态
共 156 篇相关文章

FastBench:流式VLM能否感知高动态真实视频流?
FastBench 是面向高动态真实视频流的流式VLM评测基准,包含306个QA对与人工标注证据区间。最强模型 Gemini-3.5-Flash 仅得 50.7%,揭示稀疏采样下快速事件感知的严重短板,并提出免训练基线 ProactiveFrame。

WOVEN:用视觉转移推理重构多模态LLM世界模型训练
WOVEN 论文提出视觉转移推理是多模态大模型的共享短板,构建 36,076 条三维标注样本,评测 38 个前沿 MLLM,并给出可按推理操作选择训练数据的配方。

Google EmbeddingGemma 2:轻量级多模态嵌入模型开源
Google DeepMind 开源 EmbeddingGemma 2 多模态嵌入模型,740M 参数支持文本、代码、图像、视频、音频统一检索,端侧运行文本模式仅需 191MB 内存,MTEB Code 分数从 68.76 提升至 78.68,Apache 2.0 许可。

TrailLens Audio:用本地Gemma 3打造离线自然观察助手
TrailLens Audio 是一款开源徒步伴侣应用,基于本地运行的 Gemma 3 4B 和 Kokoro 82M 实现离线物种识别与语音讲解,并通过 Pocket Quest 功能引导用户放下手机、重返自然。本文解析其技术栈与设计理念。

Decision 3.0开源发布:0.6B-27B多模态决策模型登顶双榜
vLLM Semantic Router团队开源发布Decision 3.0多模态决策模型家族,参数从0.6B到27B,支持文本、图像和视频输入,在Jev Decision Index文本与视觉双榜登顶,Apache-2.0协议可商用。

AI研究前沿综述:自蒸馏推理、稀疏专家与机器人世界模型
本期AI/ML研究综述解读自蒸馏空间推理、MoE稀疏专家服务端剪枝、长上下文高效建模与机器人视觉-语言-动作架构等前沿进展,涵盖SpatialOPSD、SlimWise、LOOM等多项代表性论文。

SpatialASM:让视觉语言模型学会主动空间想象
SpatialASM 提出可扩展框架,通过训练时空间模拟将主动空间心智化(ASM)能力内化进视觉语言模型,在七个基准、四种骨干模型上提升空间推理表现,同时保留通用视觉能力。

带视觉能力的Jev:文档图像理解的新可能
Reddit社区讨论了一个带视觉能力的新模型,可直接理解文档图像并给出校准结果,在发票核对、合同签名审查等场景潜力巨大。本文解析其价值与局限。

一条推文背后的AI叙事:当算法学会讲述"寻找爱情"的故事
一条关于"缪斯寻找爱情"的推文背后,是AI叙事内容兴起的缩影。本文从截图碎片还原这个民谣式故事,并分析叙事型AI、多模态创作与情感表达的趋势。

Meta重返开源:30B模型Muse Glimmer单张24G显卡可跑
Meta重返开源,推出30B参数的开放权重模型Muse Glimmer,单张24GB显卡即可运行,采用Apache 2.0许可证,支持多模态与推测解码加速。海外博主实测其编程、建模与前端设计能力,带你了解这款亲民本地大模型的真实表现。

OpenAI 推出 Decisions API:让 AI 在毫秒间做决定
OpenAI 推出 Decisions API,基于 GPT-6 Luna 运行,可在毫秒级完成文本与图像的智能决策,支持销售线索分流、车道判断、机器人控制等场景,速度较传统推理提升近十倍。

多模态决策模型能否驾驭魔兽世界?SageCraft的开源实验
开发者用多模态决策模型Sage构建开源框架SageCraft,仅靠截图和键盘操作玩《魔兽世界》,不装插件不改游戏文件。实验历时5小时29分、4573次决策将角色升至5级,并探讨了AI agent中harness逻辑与模型决策的边界问题。

SPLIT-RL:分阶段训练破解视觉语言推理的能力归因难题
arXiv新论文SPLIT-RL提出分阶段视觉语言推理训练方法,通过能力解耦与Claim-Level Advantage细粒度优势,在Qwen3-VL与InternVL3.5上使准确率提升1.4-6.1点,同时改善感知与推理双能力。

EmbeddingGemma 2发布:原生多模态嵌入开源模型
谷歌发布 EmbeddingGemma 2,一款原生多模态嵌入开源模型,将文本、图像、视频、音频统一映射到同一嵌入空间,最大7.4亿参数、支持端侧离线运行与RAG流水线,权重已在Hugging Face开放下载。
EmbeddingGemma 2发布:740M参数的开源多模态端侧嵌入模型
EmbeddingGemma 2发布:740M参数的开源多模态端侧嵌入模型
谷歌发布开源多模态嵌入模型 EmbeddingGemma 2,仅740M参数即可处理文本、代码、图像、视频与音频任务,适合离线隐私优先的RAG应用,权重已在Hugging Face开放。

Perplexity开源pplx-embed-v2-late:文本图像多向量嵌入模型
Perplexity开源多向量嵌入模型pplx-embed-v2-late,提供9B索引版与0.6B端侧版,共享嵌入空间,支持免OCR的PDF页面检索,MADQA达92.4%,权重已上线Hugging Face。

MambaXray-PRB:CheXpert Plus上的X光报告生成新基准
arXiv论文提出MambaXray-PRB框架,在CheXpert Plus数据集上构建X光报告生成标准化基准,通过多阶段大模型预训练与多模态思维链推理提升性能与可解释性,并已开源代码。

谷歌EmbeddingGemma 2开源:端侧多模态嵌入新选择
谷歌发布 EmbeddingGemma 2 多模态嵌入模型并开放权重,支持端侧低内存运行;同时盘点 OpenAI 海量数学成果争议、Anthropic 网络安全核验计划、Nano Banana 2.1 及智能体落地瓶颈等每日 AI 要闻。

