NVIDIA Nemotron 3.5 Transcribe发布：40语言、1小时录音、开源权重

NVIDIA 近日发布了 Nemotron 3.5 Transcribe 语音转写模型，最大的亮点在于：发布当天就通过 vLLM 和 NeMo Speech 提供推理服务。这意味着开发者不必等待框架适配，可以立即在现有技术栈中调用。模型支持 40 种语言，单段录音最长可达一小时，并具备提示词引导转写、说话人分离和音频问答能力。权重以 BF16、FP8 和 NVFP4 三种精度开放。

核心能力：从转写到音频理解

Nemotron 3.5 Transcribe 的定位不止于传统语音识别。官方推文列出了几项关键特性：40 种语言覆盖、最长一小时的录音处理、提示词可引导的转写、说话人标签以及音频问答。

提示词引导转写意味着用户可以通过文本指令控制输出风格或格式，例如指定术语拼写、要求特定分段方式，或者只提取某类信息。说话人标签则解决了多人对话场景下“谁说了什么”的问题，对会议记录、访谈整理等场景实用性很高。音频问答进一步把模型从转写工具推向音频理解入口——用户可以直接对音频内容提问，而不只是拿到一份文字稿。

说话人分离（speaker diarization）指的是在多人对话音频中判断“谁在什么时间说话”，并把转写文本按说话人归组的技术。传统流水线通常把它拆成语音活动检测、说话人嵌入提取和聚类几个独立步骤，再与 ASR 结果做时间对齐，工程链路长且误差会逐级累积。把说话人标签与转写统一在一个模型内完成，可以减少模块拼接带来的对齐问题，但在长音频、说话人频繁切换或音色相近的场景下，聚类稳定性和标签一致性仍是难点，这也是文中提到需要实测验证的原因。

三种权重精度，服务端到端可用

模型以 BF16、FP8 和 NVFP4 三种精度开放权重。BF16 适合对精度要求最高的场景，FP8 和 NVFP4 则面向推理效率和显存占用敏感的环境。NVFP4 是 NVIDIA 自家的低精度格式，配合其硬件生态可以在保持可用质量的前提下降低部署成本。

更值得关注的是 day-0 serving：vLLM 和 NeMo Speech 在发布当天即提供支持。vLLM 是当前主流的高吞吐推理框架，NeMo Speech 则是 NVIDIA 自己的语音工具链。两者同时适配，说明 NVIDIA 在发布节奏上把“可部署性”放在了靠前的位置，而不是让开发者等待社区补齐支持。

BF16、FP8、NVFP4 是三种不同的数值精度格式，直接决定模型权重在显存中的存储方式和计算时的吞吐效率。BF16（Brain Floating Point 16）用 16 位表示浮点数，保留与 FP32 相同的指数位宽但压缩尾数，因此在深度学习中被广泛用作训练和推理的默认精度。FP8 进一步把每个数压到 8 位，通常分为 E4M3 与 E5M2 两种变体，前者精度更高、后者动态范围更大，推理时配合缩放因子可在几乎不损质量的前提下显著提升吞吐。NVFP4 是 NVIDIA 随 Blackwell 架构推出的 4 位浮点格式，采用微块缩放（micro-block scaling）让一组权重共享缩放系数，从而在极低比特下仍维持可用精度。精度越低，显存占用和带宽压力越小，但量化误差也越大，因此三档权重实际上对应精度、成本与硬件兼容性之间的不同取舍。

vLLM 是一个面向大模型服务的高吞吐推理框架，核心机制是 PagedAttention——把 KV 缓存按页管理，像操作系统管理内存一样减少显存碎片，从而支持更大的批量并发；它同时提供 OpenAI 兼容的接口，便于直接接入现有应用。NeMo Speech 则是 NVIDIA 的语音工具链，覆盖语音识别、说话人分离等任务的训练与推理流程。二者定位不同：vLLM 侧重通用、高并发的服务化部署，NeMo Speech 侧重语音领域的端到端流水线。模型在发布当天同时适配两者，意味着无论团队走通用推理服务路线还是语音专用工具链路线，都能直接拉起模型，而不必自己写适配层或等待社区合并支持。

对开发者和企业的实际影响

长音频处理一直是语音转写的痛点。一小时的录音上限，配合说话人分离，让这个模型可以直接用于会议全程记录、播客转写、客服通话分析等场景，减少分段处理的工程复杂度。

40 种语言的支持则扩大了适用范围，对需要多语言内容处理的产品团队来说，单一模型覆盖多语种可以减少模型选型和维护成本。开放权重加多精度选择，也让企业在数据合规要求下有了本地部署的可能。

从竞争格局看，开源语音模型赛道近年活跃度上升，但能在发布首日就打通主流推理框架的并不多。Nemotron 3.5 Transcribe 的 day-0 策略，本质上是把生态协同当作产品能力的一部分。

观察与待验证之处

官方推文没有披露模型参数量、各语言的识别准确率、音频问答的具体评测结果，以及 NVFP4 精度下的质量损失程度。这些信息需要等模型卡和技术报告补充后才能判断实际表现。另外，提示词引导转写的指令泛化能力、长音频下的说话人分离稳定性，也值得在实际使用中重点验证。

对开发者而言，现在可以做的第一步是在 vLLM 或 NeMo Speech 环境中拉起模型，用自己业务场景的音频做一轮基线测试，重点关注目标语种的识别质量与长录音的端到端延迟。