论文
Vesta
一篇发表于 arXiv 的推理调度研究，提出将会话级 KV 缓存归属与请求级执行放置解耦，利用排队论在缓存局部性与队列拥塞之间做可量化权衡，从而优化多轮会话场景下的吞吐与首 token 延迟
时间轴 (近 90 天)
10月14日
arXiv 论文 Vesta 提出将‘会话级 KV 缓存归属’与‘请求级执行放置’解耦，用排队论在缓存局部性和队列拥塞之间做权衡。
待验证50%
10月14日
Vesta 在共置部署下吞吐提升 14%、平均 TTFT 下降 57.8%，在分离式部署下 P99 TTFT 最多降低 29%。
待验证50%