[控场AI]
模型Nemotron Dory 4B / Dory 1.0

Nemotron Labs Dory 1.0

NVIDIA 发布的 4B 参数循环架构语言模型,采用输入块、共享循环块和输出块设计,支持推理时动态调整循环次数,专注智能体编程任务

时间轴 (近 90 天)

10月18日

NVIDIA Nemotron Labs Dory 1.0 是一个 4B 参数量的模型,于 10 月 16 日上线 Hugging Face。

待验证50%
10月18日

Dory 在 SWE-bench Verified 上获得 61.8 分(4 次循环,NVIDIA 自测),Qwen3.5-9B 得分为 61 分。

待验证50%
10月18日

截至 10 月 18 日,官方支持的 llama.cpp、vLLM 和 Transformers 均未合并或缺失对 Dory 的支持。

待验证50%
10月18日

Dory 采用循环架构,由输入块(8 层)、共享循环块(20 层,可重复 1 至 4 次)和输出块(8 层)组成,输入在每次循环时重新注入,循环次数可在启动时指定而无需重新训练。

待验证50%
10月18日

在 4 次循环下,Dory 每 token 经过 8 + 80 + 8 = 96 层计算。

待验证50%
10月18日

NVIDIA 推荐 2 次循环为默认值,并表示大部分精度提升来自第二次循环。

待验证50%
10月18日

Dory 模型规格为:131,072 token 词表,隐藏维度 2560,16 个查询头,4 个 KV 头,头维度 256,约 6T 预训练 token,仅支持英语,训练涵盖 43 种编程语言。

待验证50%
10月18日

Dory 采用 OpenMDW License v1.1,模型卡称可用于商业或非商业用途。

待验证50%
10月18日

Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变(10.03、10.08、10.03),在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。

待验证50%
10月18日

Dory 在 IFBench 上领先 Qwen3.5-4B 超过 20 分(79 vs 53.83,4 次循环)。

待验证50%

还有 4 条时间轴事件

全部知识事实 (14)

待验证

NVIDIA 表示 last_loop 模式的精度接近 per-loop 模式。

50%
待验证

Dory 在 SWE-bench Verified 上获得 61.8 分(4 次循环,NVIDIA 自测),Qwen3.5-9B 得分为 61 分。

50%
待验证

截至 10 月 18 日,官方支持的 llama.cpp、vLLM 和 Transformers 均未合并或缺失对 Dory 的支持。

50%
待验证

Dory 采用循环架构,由输入块(8 层)、共享循环块(20 层,可重复 1 至 4 次)和输出块(8 层)组成,输入在每次循环时重新注入,循环次数可在启动时指定而无需重新训练。

50%
待验证

在 4 次循环下,Dory 每 token 经过 8 + 80 + 8 = 96 层计算。

50%
待验证

NVIDIA 推荐 2 次循环为默认值,并表示大部分精度提升来自第二次循环。

50%
待验证

Dory 模型规格为:131,072 token 词表,隐藏维度 2560,16 个查询头,4 个 KV 头,头维度 256,约 6T 预训练 token,仅支持英语,训练涵盖 43 种编程语言。

50%
待验证

Dory 采用 OpenMDW License v1.1,模型卡称可用于商业或非商业用途。

50%
待验证

Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变(10.03、10.08、10.03),在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。

50%
待验证

Dory 在 IFBench 上领先 Qwen3.5-4B 超过 20 分(79 vs 53.83,4 次循环)。

50%
待验证

Dory 的 GGUF 权重(Q5_K_M)为 3.67 GB,BF16 为 7.95 GB,NVFP4 为 3.20 GB。

50%
待验证

在默认 per_loop 模式下,Dory 的 KV 缓存随循环次数成倍增加:2 次循环 256K 上下文约 14 GiB,4 次循环约 24 GiB;切换到 last_loop 模式可降至约 9 GiB(256K)。

50%
待验证

llama.cpp 对 Dory 的支持位于 PR #30306,目前为草稿状态,需要两个批准,PR 描述承认 Metal 未测试且长上下文资格认证未完成。

50%
待验证

NVIDIA Nemotron Labs Dory 1.0 是一个 4B 参数量的模型,于 10 月 16 日上线 Hugging Face。

50%

来源文章