模型
Ling-3.0-flash
Inclusion AI 推出的轻量级 MoE 大语言模型,面向高效推理场景
时间轴 (近 90 天)
10月29日
在NVIDIA的Ling-3.0-flash模型中,每个token在每层MoE中从512个路由专家里选择8个,外加一个共享专家。
待验证50%
10月29日
在batch-size-1的Spark配置下,验证4个token的步骤成本约等于2.26个普通解码步骤。
待验证50%
10月27日
NVIDIA 团队在评估 Inclusion AI 的 Ling-3.0-flash 时采用了批次大小为 1 的推理设置。
待验证50%
10月27日
上述结论来自一篇以 Ling-3.0-flash 为评估对象的开发者博客,尚缺乏多来源交叉验证。
待验证50%