[控场AI]

#多模态

共 156 篇相关文章

FastBench:流式VLM能否感知高动态真实视频流?
·5 分钟

FastBench:流式VLM能否感知高动态真实视频流?

FastBench 是面向高动态真实视频流的流式VLM评测基准,包含306个QA对与人工标注证据区间。最强模型 Gemini-3.5-Flash 仅得 50.7%,揭示稀疏采样下快速事件感知的严重短板,并提出免训练基线 ProactiveFrame。

阅读全文 →
WOVEN:用视觉转移推理重构多模态LLM世界模型训练
·5 分钟

WOVEN:用视觉转移推理重构多模态LLM世界模型训练

WOVEN 论文提出视觉转移推理是多模态大模型的共享短板,构建 36,076 条三维标注样本,评测 38 个前沿 MLLM,并给出可按推理操作选择训练数据的配方。

阅读全文 →
Google EmbeddingGemma 2:轻量级多模态嵌入模型开源
·5 分钟

Google EmbeddingGemma 2:轻量级多模态嵌入模型开源

Google DeepMind 开源 EmbeddingGemma 2 多模态嵌入模型,740M 参数支持文本、代码、图像、视频、音频统一检索,端侧运行文本模式仅需 191MB 内存,MTEB Code 分数从 68.76 提升至 78.68,Apache 2.0 许可。

阅读全文 →
TrailLens Audio:用本地Gemma 3打造离线自然观察助手
·5 分钟

TrailLens Audio:用本地Gemma 3打造离线自然观察助手

TrailLens Audio 是一款开源徒步伴侣应用,基于本地运行的 Gemma 3 4B 和 Kokoro 82M 实现离线物种识别与语音讲解,并通过 Pocket Quest 功能引导用户放下手机、重返自然。本文解析其技术栈与设计理念。

阅读全文 →
Decision 3.0开源发布:0.6B-27B多模态决策模型登顶双榜
·5 分钟

Decision 3.0开源发布:0.6B-27B多模态决策模型登顶双榜

vLLM Semantic Router团队开源发布Decision 3.0多模态决策模型家族,参数从0.6B到27B,支持文本、图像和视频输入,在Jev Decision Index文本与视觉双榜登顶,Apache-2.0协议可商用。

阅读全文 →
AI研究前沿综述:自蒸馏推理、稀疏专家与机器人世界模型
·8 分钟

AI研究前沿综述:自蒸馏推理、稀疏专家与机器人世界模型

本期AI/ML研究综述解读自蒸馏空间推理、MoE稀疏专家服务端剪枝、长上下文高效建模与机器人视觉-语言-动作架构等前沿进展,涵盖SpatialOPSD、SlimWise、LOOM等多项代表性论文。

阅读全文 →
SpatialASM:让视觉语言模型学会主动空间想象
·5 分钟

SpatialASM:让视觉语言模型学会主动空间想象

SpatialASM 提出可扩展框架,通过训练时空间模拟将主动空间心智化(ASM)能力内化进视觉语言模型,在七个基准、四种骨干模型上提升空间推理表现,同时保留通用视觉能力。

阅读全文 →
带视觉能力的Jev:文档图像理解的新可能
·5 分钟

带视觉能力的Jev:文档图像理解的新可能

Reddit社区讨论了一个带视觉能力的新模型,可直接理解文档图像并给出校准结果,在发票核对、合同签名审查等场景潜力巨大。本文解析其价值与局限。

阅读全文 →
一条推文背后的AI叙事:当算法学会讲述"寻找爱情"的故事
·4 分钟

一条推文背后的AI叙事:当算法学会讲述"寻找爱情"的故事

一条关于"缪斯寻找爱情"的推文背后,是AI叙事内容兴起的缩影。本文从截图碎片还原这个民谣式故事,并分析叙事型AI、多模态创作与情感表达的趋势。

阅读全文 →
Meta重返开源:30B模型Muse Glimmer单张24G显卡可跑
·7 分钟

Meta重返开源:30B模型Muse Glimmer单张24G显卡可跑

Meta重返开源,推出30B参数的开放权重模型Muse Glimmer,单张24GB显卡即可运行,采用Apache 2.0许可证,支持多模态与推测解码加速。海外博主实测其编程、建模与前端设计能力,带你了解这款亲民本地大模型的真实表现。

阅读全文 →
OpenAI 推出 Decisions API:让 AI 在毫秒间做决定
·5 分钟

OpenAI 推出 Decisions API:让 AI 在毫秒间做决定

OpenAI 推出 Decisions API,基于 GPT-6 Luna 运行,可在毫秒级完成文本与图像的智能决策,支持销售线索分流、车道判断、机器人控制等场景,速度较传统推理提升近十倍。

阅读全文 →
多模态决策模型能否驾驭魔兽世界?SageCraft的开源实验
·6 分钟

多模态决策模型能否驾驭魔兽世界?SageCraft的开源实验

开发者用多模态决策模型Sage构建开源框架SageCraft,仅靠截图和键盘操作玩《魔兽世界》,不装插件不改游戏文件。实验历时5小时29分、4573次决策将角色升至5级,并探讨了AI agent中harness逻辑与模型决策的边界问题。

阅读全文 →
SPLIT-RL:分阶段训练破解视觉语言推理的能力归因难题
·5 分钟

SPLIT-RL:分阶段训练破解视觉语言推理的能力归因难题

arXiv新论文SPLIT-RL提出分阶段视觉语言推理训练方法,通过能力解耦与Claim-Level Advantage细粒度优势,在Qwen3-VL与InternVL3.5上使准确率提升1.4-6.1点,同时改善感知与推理双能力。

阅读全文 →
EmbeddingGemma 2发布:原生多模态嵌入开源模型
·5 分钟

EmbeddingGemma 2发布:原生多模态嵌入开源模型

谷歌发布 EmbeddingGemma 2,一款原生多模态嵌入开源模型,将文本、图像、视频、音频统一映射到同一嵌入空间,最大7.4亿参数、支持端侧离线运行与RAG流水线,权重已在Hugging Face开放下载。

阅读全文 →

EmbeddingGemma 2发布:740M参数的开源多模态端侧嵌入模型

·4 分钟

EmbeddingGemma 2发布:740M参数的开源多模态端侧嵌入模型

谷歌发布开源多模态嵌入模型 EmbeddingGemma 2,仅740M参数即可处理文本、代码、图像、视频与音频任务,适合离线隐私优先的RAG应用,权重已在Hugging Face开放。

阅读全文 →
Perplexity开源pplx-embed-v2-late:文本图像多向量嵌入模型
·5 分钟

Perplexity开源pplx-embed-v2-late:文本图像多向量嵌入模型

Perplexity开源多向量嵌入模型pplx-embed-v2-late,提供9B索引版与0.6B端侧版,共享嵌入空间,支持免OCR的PDF页面检索,MADQA达92.4%,权重已上线Hugging Face。

阅读全文 →
MambaXray-PRB:CheXpert Plus上的X光报告生成新基准
·5 分钟

MambaXray-PRB:CheXpert Plus上的X光报告生成新基准

arXiv论文提出MambaXray-PRB框架,在CheXpert Plus数据集上构建X光报告生成标准化基准,通过多阶段大模型预训练与多模态思维链推理提升性能与可解释性,并已开源代码。

阅读全文 →
谷歌EmbeddingGemma 2开源:端侧多模态嵌入新选择
·6 分钟

谷歌EmbeddingGemma 2开源:端侧多模态嵌入新选择

谷歌发布 EmbeddingGemma 2 多模态嵌入模型并开放权重,支持端侧低内存运行;同时盘点 OpenAI 海量数学成果争议、Anthropic 网络安全核验计划、Nano Banana 2.1 及智能体落地瓶颈等每日 AI 要闻。

阅读全文 →