[控场AI]
模型

Nemotron 3.5 Lightning

NVIDIA推出的混合专家(MoE)架构大语言模型,总参数约30B但每个token仅激活约3B参数,在保持较大知识容量的同时实现高推理效率

时间轴 (近 90 天)

9月24日

运行NVIDIA Nemotron 3.5 Lightning模型时,Mac mini每秒约生成38个词,Mac Studio每秒约124个词

待验证50%
9月17日

文中建议入门者从Nemotron 3.5 Lightning配合LoRA开始,因为该组合可将起步门槛降至单张中低端显卡可承受的范围

待验证50%
8月24日

NVIDIA的Nemotron 3.5 Lightning模型经过2-bit量化后仍能持续运行工具调用长达10分钟以上

待验证50%
8月24日

该工具调用表现的观察来自单一社区来源,属于个人使用体验分享,尚无大规模第三方基准测试或复现报告佐证

已过期50%

全部知识事实 (3)

来源文章