RIPL
Liquid AI推出的专为LFM系列小模型设计的实时推理引擎,专注于降低p95尾部延迟,优化实时交互场景。
时间轴 (近 90 天)
官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。
RIPL 是纯软件引擎,可以跑在现有 GPU 上,部署门槛低。
RIPL 目前只服务 LFM 系列,模型选择范围远小于 vLLM 支持的开放模型库。
上述 14.4–28.4 倍的 p95 延迟优势不能简单归因于引擎本身,模型架构、量化策略、KV Cache 管理方式都可能贡献了差异。
RIPL 在批大小、算子融合和内存布局上针对 LFM 结构做了裁剪,这是专用引擎容易取得倍数优势的地方。
RIPL 与 Groq LPU、Cerebras wafer-scale 思路相似,都是软硬协同,但区别在于 RIPL 是纯软件引擎,部署门槛低得多。
全部知识事实 (6)
官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。
50%待验证RIPL 是纯软件引擎,可以跑在现有 GPU 上,部署门槛低。
50%待验证RIPL 目前只服务 LFM 系列,模型选择范围远小于 vLLM 支持的开放模型库。
50%待验证上述 14.4–28.4 倍的 p95 延迟优势不能简单归因于引擎本身,模型架构、量化策略、KV Cache 管理方式都可能贡献了差异。
50%待验证RIPL 与 Groq LPU、Cerebras wafer-scale 思路相似,都是软硬协同,但区别在于 RIPL 是纯软件引擎,部署门槛低得多。
50%待验证RIPL 在批大小、算子融合和内存布局上针对 LFM 结构做了裁剪,这是专用引擎容易取得倍数优势的地方。
50%