#多模态模型
共 41 篇相关文章

当图表与文字矛盾:多模态模型在论文审查中的盲区
一项研究评估多模态模型在完整论文中自主验证图表与文本一致性的能力,发现模型虽能提到问题图表,但仅极少数能诊断出矛盾,指出图表名称可显著提升诊断率。

全模态模型跨模态不一致:答案子空间与分歧表征的分离
全模态模型常对语义等价输入给出不同答案。新研究通过答案子空间分析发现,预测跨模态不一致的表征与导致分歧的表征分离:分歧信息集中在答案子空间外的二维表征,扰动答案子空间才改变预测。仅扰动单一模态答案子空间即可诱导分歧,揭示模态对齐错位是关键。

594B MoE模型Inkling 2 Small登陆Ollama
Thinking Machines 的 Inkling 2 Small 模型上线 Ollama,594B MoE 架构搭配 1M 上下文窗口,支持 OCR、视觉推理、MCP 工具调用与金融文档处理,并提供零数据留存承诺。

Gamer:面向长时任务的通用视觉-语言-动作基础模型
Gamer是面向长时任务的通用视觉-语言-动作基础模型,统一感知、记忆与推理,基于数万小时键鼠轨迹训练,结合稀疏思考指令微调与多轮强化学习,在3D开放世界与2D游戏基准上展现泛化能力。

Inkling 2 Small 登陆 AI Gateway:多模态编程模型新选择
Thinking Machines 的 Inkling 2 Small 多模态推理模型现已上线 Vercel AI Gateway,支持编程智能体、视觉理解与文档交付,可通过统一模型名调用,并支持 Claude Code、Cursor 等编码工具。

MAGIC:用基尼系数检测医疗大模型幻觉
MAGIC提出用基尼系数量化医疗多模态模型中视觉与文本注意力分布,检测临床幻觉。在两种医疗LMM和三种影像模态上验证,性能优于或媲美基线,为医疗AI可靠性提供新思路。

Anthropic发布Fable 5.2与Mythos 5.2:基准霸榜与生物机器人突破
Anthropic 正式发布 Claude Fable 5.2 与 Mythos 5.2,基准测试几乎全面领先,并在蛋白质设计、基因治疗和机器人控制上取得突破。本文梳理基准表现、定价变化、早期用户作品与订阅福利。

当音视频误导AI:多模态情感识别鲁棒性审计
一项多模态情感识别审计发现:Omni模型加入真实音视频可提升准确率,但无关音视频替换在全部18组比较中显著降低准确率,揭示模型对误导性输入的脆弱性。

视觉语言模型的安全脆弱性:组合性伤害与反对齐审计
最新研究揭示大型视觉语言模型在组合性安全上的脆弱性:基准高分不代表鲁棒,反对齐方法CMaG可降低安全分数65分且保持输出连贯,呼吁引入内部审计。

Liquid AI发布LFM3:6款2B级开源多模态模型
Liquid AI发布LFM3系列,一次推出6款2B级开源权重多模态模型,覆盖文本、视觉、音频、omni与决策。LFM3-1.7B采用三混合骨干,支持256K上下文,4-bit量化下约1GB。

多模态大模型分阶段训练:能力互斥还是协同进化?
一项针对84亿参数多模态模型的研究发现,分阶段训练中数学蒸馏会覆盖金融知识,领域阶段更多是修复而非安装能力,最佳检查点取决于任务,对检查点保留和调度策略提出新挑战。

UniWALM:统一世界-动作-语言模型如何突破机器人控制瓶颈
UniWALM 提出统一世界-动作-语言模型,在单一 Transformer 骨干内同步生成视频、动作和语言,无需外部规划器。在 RMBench 记忆任务上达 34.5%,真实物品查找任务成功率从 11.1% 提升至 61.1%。

VICE:用视频-语言蕴涵实现概念级视频相似度估计
VICE 提出双分支视频-语言蕴涵框架,利用大型多模态模型的单视频理解能力实现概念级视频相似度估计,在 ConViS-Bench 和 StepDiff 基准上超越同时处理两段视频的模型。

Glimpse视觉模型价格仅为GPT-6 Astra的6%,自家榜单却输6项
Elorian 发布视觉思考模型 Glimpse,输入价格仅为 GPT-6 Astra 的 6%,但自家 12 行基准表中输了 6 行。本文拆解完整测试数据、视觉草稿纸的计费逻辑,以及迁移前该怎么做自测。

Elorian Glimpse视觉推理模型登陆AI Gateway
Elorian 视觉推理模型 Glimpse 接入 AI Gateway,支持图像与视频输入,可跨帧追踪物体、回溯视觉证据,适用于图表分析、视频描述、视觉计数与机器人数据标注。本文介绍其能力、AI SDK 接入代码与帧率配置要点。

Florence-2-Large入门指南:一个模型搞定多任务视觉
Florence-2-Large 是 Lucataco 部署在 Replicate 上的多任务视觉基础模型,统一支持图像描述、目标检测、视觉定位与分割提示。本文梳理其核心能力、四类适用场景、五个关键限制,与 base、Kosmos-2、InternVL 等模型的选型对比,并附 Python 上手代码。

Elorian发布首款AI模型Glimpse:用图像推理,而非推理图像
Elorian发布首款AI模型Glimpse,采用视觉原生推理架构,据其评估在科学图表推理和短视频描述任务上超越GPT-6 Astra,探索"用图像推理而非关于图像推理"的新路径。

视觉生成能否扩展多模态模型的知识边界?
最新研究提出KTP协议,系统探索统一多模态模型能否通过图像生成训练获取新知识。实验覆盖七类知识和三种模型,揭示视觉监督向语言迁移的直接但非均衡路径,并提出文本对齐与交错图文对齐两种改进策略。

