英伟达Nemotron 3.5 Lightning免费上线AI Gateway

英伟达又向开源社区投下一枚重磅模型。Nemotron 3.5 Lightning 正式登陆 Vercel 旗下的 AI Gateway，并以 nvidia/nemotron-3.5-lightning-free 的模型名免费开放，由英伟达亲自提供推理服务。

一个为"长时间运行"而生的模型

Nemotron 3.5 Lightning 的定位很明确：它不是用来做一次性问答的玩具，而是面向长时运行的智能体（agent）、子智能体协作、聊天机器人和 RAG 系统。

这意味着它的设计目标偏向"持续在线、多轮调用、工具频繁交互"的场景。对于正在搭建 agent 工作流的开发者来说，一个稳定的、成本可控的推理后端往往比单纯的跑分更重要。

智能体（agent） 在这里指的是由大模型驱动、能够自主规划多步操作并调用外部工具来完成任务的程序。与传统"一问一答"的聊天不同，agent 往往需要反复思考、调用搜索或代码执行工具、观察结果、再决定下一步，整个流程可能持续数十轮甚至更久。子智能体协作则是指把复杂任务拆给多个专职的小型 agent 并行或串行处理，比如一个负责检索、一个负责写代码、一个负责校验。RAG（检索增强生成） 是在生成答案前先从外部知识库检索相关片段，再让模型基于这些片段作答，常用于让模型掌握私有或最新资料。这三类场景共同的特点是：会话长、调用频繁、对推理后端的稳定性和单位成本非常敏感，这也解释了为什么模型会强调长上下文和工具调用能力。

30B 参数，只激活 3B：混合 MoE + Mamba-2 架构

这个模型最有意思的地方在架构。它拥有 300 亿总参数，但每个 token 只激活约 30 亿参数——典型的混合专家（MoE）思路，用稀疏激活换取推理效率。

更进一步，它采用的是 Mamba-2 与 MoE 层交织、再搭配少量注意力层的混合结构。Mamba-2 属于状态空间模型（SSM）路线，在处理长序列时通常比纯 Transformer 更省算力。这种"SSM + 少量注意力"的组合，正是当前长上下文模型的一个重要技术方向。

配套的能力清单也相当完整：

• 100 万 token 上下文窗口，足以塞进整个代码仓库或长篇文档集
• 支持工具调用（tool calling），这是 agent 场景的刚需
• 支持结构化输出（structured outputs），方便接入下游系统做解析

MoE（混合专家，Mixture of Experts） 是一种稀疏激活的模型设计思路：网络内部包含多个并行的"专家"子网络，以及一个负责分派的路由器。对于每个输入 token，路由器只挑选少数几个专家参与计算，其余专家保持沉默。这样一来，模型的总参数量可以做得很大（知识容量高），但每个 token 实际消耗的算力却只与被激活的那部分参数成正比（推理成本低）。Nemotron 3.5 Lightning 的 30B 总参数、3B 激活，正是这种"大容量、低激活"策略的体现——它让模型具备更强的表达与记忆能力，同时把单次前向的算力开销压到接近一个 3B 稠密模型的水平。

Mamba-2 则属于状态空间模型（State Space Model，SSM）路线。与 Transformer 通过自注意力让每个 token 与序列中所有其他 token 交互不同，SSM 用一个可递归更新的内部状态来压缩历史信息，因此处理长序列时计算和显存开销通常随长度近似线性增长，而非注意力的平方级增长。Mamba-2 在前代基础上改进了状态更新机制与并行训练效率，使其更易与现有架构融合。把 Mamba-2 层与 MoE 层交织，再点缀少量注意力层，本质上是想同时拿到 SSM 的长序列效率和注意力对精确检索的建模能力。

怎么接入：一条模型名走遍主流工具

接入方式延续了 AI Gateway 一贯的"统一 API"思路。开发者只需把模型名填成 nvidia/nemotron-3.5-lightning-free，就能通过多种途径调用：

• AI SDK：几行 TypeScript 即可流式调用，例如用 streamText 传入模型名和 prompt
• Chat Completions / Responses / Messages API：兼容主流 API 形态
• 编码智能体（coding agent）：在 Claude Code、Codex、Cursor 等工具中使用

在编码代理里使用的方式是先安装最新版 Vercel CLI，运行 npx vercel ai-gateway setup，然后在 agent 中选择对应的模型名即可。

import { streamText } from 'ai';

const result = streamText({
  model: 'nvidia/nemotron-3.5-lightning-free',
  prompt: 'Write a TypeScript function that retries a failed fetch with exponential backoff.',
});

AI Gateway 是介于开发者和模型供应商之间的一层统一代理服务。开发者不再分别对接英伟达、OpenAI 或 Anthropic 各自的 API 与计费体系，而是把请求发给网关，由网关按模型名路由到对应供应商。好处包括：一套接口兼容多种模型、集中记录用量与成本、在某个供应商故障时自动重试或切换到备用模型、按 API Key 设置预算上限等。BYOK（Bring Your Own Key） 指开发者使用自己在供应商处申请的密钥，通过网关转发请求，这样既能享受网关的治理能力，又能沿用已有的供应商账户与额度。AI SDK 是 Vercel 推出的开源 TypeScript 工具库，streamText 是其用于流式生成文本的核心函数，适合在 Web 应用里逐字返回模型输出。

AI Gateway 的价值：统一入口与零加价

把模型放进 AI Gateway，而不是让开发者各自对接英伟达的 API，好处在于网关层提供了一整套工程能力：统一的调用接口、用量与成本追踪、重试与故障转移配置、以及针对"高于单一供应商可用性"的性能优化。

此外还有自定义报表、按 API Key 设置预算、路由规则等治理功能，对团队协作和成本控制很实用。

价格策略上，AI Gateway 明确表示按供应商定价原样透传，不加价、不对推理收取平台费，BYOK（自带密钥）请求同样适用。这里的"免费"指的是该模型当前以免费形式提供，而非网关本身免费。

一个需要留意的细节

官方文档中有一句提示值得注意：供应商可能会保留提示词用于模型改进。对于处理敏感数据、私有代码或合规要求较高的团队，这一点需要在选型时纳入考量，必要时评估数据脱敏或改用其他部署方式。

提示词保留 是模型服务条款中的一项常见差异。免费或低价开放的模型，供应商往往会在协议中声明可将用户输入的提示词用于模型训练或改进，以换取零成本或低成本的使用权。这与企业级付费 API 通常承诺"不使用客户数据训练"的做法形成对比。对于处理私有代码、客户个人信息或受监管数据的团队，即便模型本身免费，也可能因合规要求而无法直接使用，需要先做数据脱敏、改用明确承诺不保留数据的付费端点，或选择本地/私有化部署开放权重版本。开放权重模型的一个优势正在于此：权重可下载后自行托管，从根源上避免数据外流。

为什么这件事值得关注

一个 300 亿总参、仅激活 30 亿的开放权重模型，带着 100 万 token 上下文和工具调用能力免费开放，对 agent 开发者是个低门槛的试验机会。

它同时也反映出两个趋势：一是 Mamba 类状态空间模型与 Transformer 的融合正在从论文走向可用的开源权重；二是 AI Gateway 这类"模型聚合 + 治理"层，正在成为开发者绕开单一供应商锁定的中间地带。

如果你的项目正在寻找一个长上下文、低成本、支持工具调用的推理后端，这个模型值得跑一遍实际工作流再做判断。