FluidPD
发表于arXiv的LLM推理优化论文，提出针对Prefill-Decode分离架构资源失衡问题的原地弹性调度方案，通过FluidToken和FluidRole两大机制实现SLO感知的动态资源重分配
时间轴 (近 90 天)
FluidPD是一篇arXiv上的论文，提出针对LLM推理P/D分离架构资源失衡问题的原地弹性调度方案
论文指出传统自动扩缩容存在三个短板：反应慢、需要预留空闲GPU、无法直接应对短时间尺度的阶段失衡
FluidPD引入FluidToken和FluidRole两个互补机制，分别应对不同时间尺度的资源失衡
FluidPD的两个机制调度由轻量级压力指数引导，在SLO被违反之前主动干预
论文在生产级Azure trace工作负载上评测，相较于静态配置的SGLang，FluidPD将整体SLO达成率最高提升94.6个百分点
FluidPD能够在不额外增配worker的情况下显著改善服务质量
FluidPD是一篇刚发布的arXiv预印本，结论尚待更广泛的同行评审和实际部署验证
全部知识事实 (7)
FluidPD是一篇arXiv上的论文，提出针对LLM推理P/D分离架构资源失衡问题的原地弹性调度方案
50%待验证论文指出传统自动扩缩容存在三个短板：反应慢、需要预留空闲GPU、无法直接应对短时间尺度的阶段失衡
50%待验证FluidPD引入FluidToken和FluidRole两个互补机制，分别应对不同时间尺度的资源失衡
50%待验证FluidPD的两个机制调度由轻量级压力指数引导，在SLO被违反之前主动干预
50%待验证论文在生产级Azure trace工作负载上评测，相较于静态配置的SGLang，FluidPD将整体SLO达成率最高提升94.6个百分点
50%待验证FluidPD能够在不额外增配worker的情况下显著改善服务质量
50%待验证FluidPD是一篇刚发布的arXiv预印本，结论尚待更广泛的同行评审和实际部署验证
50%