[控场AI]
· 5 分钟阅读· 2,686 字

NVIDIA Nemotron 3.5 Super VL实测:开源视觉Agent的新选择

NVIDIA Nemotron 3.5 Super VL实测:开源视觉Agent的新选择

英伟达Nemotron 3.5 Super VL以120B总参12B激活的MoE架构,把视觉、推理与工具调用整合进单模型。

英伟达开源模型Nemotron 3.5 Super VL被开发者与Deep Agents框架结合实测。该模型采用MoE架构,总参数120B但推理仅激活12B,同时支持视觉输入、推理链与工具调用,并附带NeMo后训练工具链。在自建行为测试套件中取得87%平均通过率,Harbor Unified-lite基准上比DeepSeek V4.1 Flash节省55%任务耗时且成功率相近。文章强调视觉能力是Agent落地的关键,可直接读取截图与文档图像并执行操作,省去OCR中间环节。开源权重支持本地部署,LangChain ChatNVIDIA接口便于快速集成。但数据来自单一来源,复杂文档理解与多步工具调用稳定性仍待第三方验证。

英伟达在开源模型上的布局又推进了一步。Reddit上有开发者分享了将NVIDIA Nemotron 3.5 Super VL与Deep Agents框架结合后的实测结果,这款模型把视觉理解、推理和工具调用整合进了同一个权重文件,并通过LangChain的ChatNVIDIA接口直接可用。

Reddit原帖截图

模型规格:120B总参数,仅12B激活

Nemotron 3.5 Super VL采用MoE架构,总参数量120B,但推理时仅激活12B参数。这个设计意味着它在保持较大模型容量的同时,实际计算开销接近一个中等规模稠密模型。

功能层面,它同时支持视觉输入、推理链和工具调用——这三项能力此前通常需要拼接多个专用模型才能实现。对于Agent场景来说,单模型覆盖多模态输入和动作执行,能显著简化pipeline的复杂度。

英伟达还提供了完整的NeMo工具链,开发者可以用自己的数据对模型做后训练(post-train),这在开源模型中不算常见,对需要领域适配的团队比较友好。

MoE(Mixture of Experts,混合专家) 是一种稀疏激活的模型架构。它把前馈网络拆分成多个并行的"专家"子网络,再通过一个路由门控网络决定每个token送给哪几个专家处理。传统稠密模型每生成一个token都要过一遍全部参数,而MoE只激活其中一小部分,因此总参数量可以做得很大(用于存储知识容量),但单次推理的算力开销只取决于激活的那部分。业内常见做法是"总参数量除以激活量"来衡量稀疏度,Nemotron 3.5 Super VL的120B/12B约等于10倍稀疏。这种设计的好处是在等效算力下获得更强能力,代价是显存占用仍按总参数计,部署时对显卡内存的要求并未同比降低,同时对路由网络的训练稳定性、专家负载均衡都提出了更高要求。

测试表现:行为套件87%通过率

据Reddit原帖作者描述,在自建的Deep Agents行为测试套件中,Nemotron 3.5 Super VL取得了87%的平均通过率。

在Harbor Unified-lite基准上,它的总任务耗时比DeepSeek广告 V4.1 Flash少了55%,而任务成功率相近。这个对比有意思的地方在于:速度优势明显,但准确率没有因此打折扣。对于需要批量调用Agent的生产环境,55%的时间节省直接影响成本结构。

作者也强调这些数据来自自家测试套件,只代表一个数据点,不构成跨模型的绝对排名。

行为测试套件(behavior suite) 与传统的静态问答基准不同,它不只看模型能否答对单题,而是让Agent在模拟环境中完成一连串带工具的复合任务,再按任务是否达成目标来统计通过率。这类评测更贴近生产场景,因为它同时考察了指令遵循、多步规划、工具选择与调用、错误后的自我纠正等能力。相应地,它的结果也更难横向比较:任务集合、环境设定、判定标准都高度依赖作者的自定义,别家模型在同一套件上未必跑过,因此87%更适合作为纵向的版本对照或内部回归指标,而不是跨模型的权威排名。这也是作者强调"只代表一个数据点"的原因。

视觉能力才是Agent场景的关键

帖子里有一句话值得单独拿出来讨论:"Vision is the useful part for agents."

这个判断切中了当前Agent落地的一个真实痛点。大多数Agent工具链处理的是结构化文本——API返回的JSON、数据库查询结果、命令行输出。但现实世界里大量信息以图像形式存在:客户发来的截图、扫描的合同、手机拍的故障照片、监控画面。

一个能直接读取图像、理解内容、然后用已有工具执行操作的Agent,省掉了"OCR转文本→再理解→再决策"的中间环节。每少一步转换,就少一层信息损失和延迟。

Nemotron 3.5 Super VL把视觉编码器和工具调用能力放进同一个模型,让这种端到端的图像理解-行动链路变得可行。

视觉语言模型(VLM) 通常由三部分组成:负责切分图片的视觉编码器、把图像特征映射到语言模型词向量空间的投影层,以及承担理解与生成的语言模型主干。视觉编码器会把图像切成若干patch并编码成一系列视觉token,再与文本token拼接后一起送入模型。要让模型从"理解图像"跨越到"基于图像采取行动",还需要在训练中注入带视觉输入的Agent轨迹数据,使其学会在看见图像后选择合适的工具、生成合法的调用参数。相比只做图像问答的VLM,这类模型对训练数据的形态要求更高,也是当前开源社区相对稀缺的能力。

开源权重+LangChain集成意味着什么

这款模型的两个工程属性值得关注:

开源权重意味着可以本地部署,数据不出内网。对于处理客户截图这类敏感信息的Agent,这是合规上的硬需求。

LangChain集成(通过ChatNVIDIA接口)降低了上手成本。已有LangChain Agent的团队可以在不大改代码的前提下切换模型做对比测试。

英伟达官方文档提供了Python集成的具体指引,感兴趣的开发者可以直接跑通流程。

LangChain 是目前应用较广的Agent与LLM应用编排框架,它通过统一的Chat接口抽象不同模型厂商的调用方式,使模型可以像插件一样替换。ChatNVIDIA 是其中对接英伟达模型服务的集成组件,除了云端API,也能指向本地通过NIM或vLLM等推理服务暴露的OpenAI兼容端点。对开发者而言,这意味着模型切换通常只需改一行初始化代码,提示词、工具定义、Agent循环逻辑基本不动即可完成A/B对比。不过要注意,框架层的兼容不等于行为一致:不同模型对工具调用格式的遵循程度、多步任务中的稳定性差异,仍需在真实任务集上单独验证。

一些需要验证的问题

目前公开的测试数据还很有限。87%通过率和55%耗时优势都来自单一来源,缺少第三方复现。几个值得关注的方向:

  • 视觉理解在复杂文档(多栏排版、手写体、低分辨率截图)上的实际表现如何
  • 工具调用的稳定性和错误恢复能力,这在多步Agent任务中比单步准确率更重要
  • 12B激活参数在长上下文场景下是否够用

原帖作者也在征集其他人的测试反馈,尤其是带图像输入的Agent场景。如果你有实际跑过,不妨去原帖分享数据。

#NVIDIA Nemotron#Nemotron 3.5 Super VL#开源视觉模型#AI Agent#Deep Agents#LangChain#多模态模型#工具调用
分享:

相关推荐