模型
Nemotron 3 Ultra Base
NVIDIA Nemotron 3 系列的高端基础模型,用于蒸馏训练 Nemotron 3.5 Super VL
时间轴 (近 90 天)
10月16日
Nemotron 3.5 Super VL 的骨干网络从 Nemotron 3 Super Base 初始化,经 Nemotron 3 Ultra Base 蒸馏 1T token,扩展到 1M 上下文,再经过 67B token 的软件工程中期训练,最后才做视觉训练。
待验证50%
NVIDIA Nemotron 3 系列的高端基础模型,用于蒸馏训练 Nemotron 3.5 Super VL
Nemotron 3.5 Super VL 的骨干网络从 Nemotron 3 Super Base 初始化,经 Nemotron 3 Ultra Base 蒸馏 1T token,扩展到 1M 上下文,再经过 67B token 的软件工程中期训练,最后才做视觉训练。