[控场AI]
产品实时推理管线

RIPL

Liquid AI推出的专为LFM系列小模型设计的实时推理引擎,专注于降低p95尾部延迟,优化实时交互场景。

时间轴 (近 90 天)

10月22日

官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。

待验证50%
10月22日

RIPL 是纯软件引擎,可以跑在现有 GPU 上,部署门槛低。

待验证50%
10月22日

RIPL 目前只服务 LFM 系列,模型选择范围远小于 vLLM 支持的开放模型库。

待验证50%
10月22日

上述 14.4–28.4 倍的 p95 延迟优势不能简单归因于引擎本身,模型架构、量化策略、KV Cache 管理方式都可能贡献了差异。

待验证50%
10月22日

RIPL 在批大小、算子融合和内存布局上针对 LFM 结构做了裁剪,这是专用引擎容易取得倍数优势的地方。

待验证50%
10月22日

RIPL 与 Groq LPU、Cerebras wafer-scale 思路相似,都是软硬协同,但区别在于 RIPL 是纯软件引擎,部署门槛低得多。

待验证50%

全部知识事实 (6)

来源文章