[控场AI]
模型

Ling-3.0-flash

Inclusion AI 推出的轻量级 MoE 大语言模型,面向高效推理场景

时间轴 (近 90 天)

10月29日

在NVIDIA的Ling-3.0-flash模型中,每个token在每层MoE中从512个路由专家里选择8个,外加一个共享专家。

待验证50%
10月29日

在batch-size-1的Spark配置下,验证4个token的步骤成本约等于2.26个普通解码步骤。

待验证50%
10月27日

NVIDIA 团队在评估 Inclusion AI 的 Ling-3.0-flash 时采用了批次大小为 1 的推理设置。

待验证50%
10月27日

上述结论来自一篇以 Ling-3.0-flash 为评估对象的开发者博客,尚缺乏多来源交叉验证。

待验证50%

全部知识事实 (4)

来源文章