[控场AI]
模型

StableLM

Stability AI 发布的开源语言模型系列,提供多种参数规模的预训练和对话模型,常用于推理框架的兼容性支持

时间轴 (近 90 天)

11月10日

vLLM 发布了 v0.34.0rc0 预发布版本,将 Gemma 和 StableLM 两个模型系列迁移到 Transformers 后端。

待验证50%
11月10日

将 Gemma 与 StableLM 迁移到 Transformers 后端意味着模型实现从专用代码路径切换到统一的后端框架,属于减少分叉、统一入口的重构。

待验证50%
11月10日

迁移到统一后端后,Gemma 和 StableLM 的行为更贴近上游 Transformers 的参考实现,这对需要做输出可比性验证的用户是一个正向变化。

待验证50%
11月10日

对于已在生产中使用 Gemma 或 StableLM 的团队,升级前应重点验证加载已有权重时的配置兼容性、推理输出数值一致性以及显存占用与吞吐表现。

待验证50%
11月10日

后端切换带来的性能偏移主要来自算子选择与内核调度的变化,旧的专用实现可能针对特定模型结构手写了融合算子,而 Transformers 后端走通用路径。

待验证50%

全部知识事实 (5)

来源文章