模型
Nemotron 3 Super Base
NVIDIA Nemotron 3 系列的基础模型,作为 Nemotron 3.5 Super VL 的初始化骨干网络
时间轴 (近 90 天)
10月16日
Nemotron 3.5 Super VL 的骨干网络从 Nemotron 3 Super Base 初始化,经 Nemotron 3 Ultra Base 蒸馏 1T token,扩展到 1M 上下文,再经过 67B token 的软件工程中期训练,最后才做视觉训练。
待验证50%
NVIDIA Nemotron 3 系列的基础模型,作为 Nemotron 3.5 Super VL 的初始化骨干网络
Nemotron 3.5 Super VL 的骨干网络从 Nemotron 3 Super Base 初始化,经 Nemotron 3 Ultra Base 蒸馏 1T token,扩展到 1M 上下文,再经过 67B token 的软件工程中期训练,最后才做视觉训练。