概念incremental publication
增量发布
LLM推理前缀缓存中的一种缓存页发布策略，在每次批量前向完成后立即发布新完成的缓存页，使缓存页在请求仍在生成时即可被其他请求复用
时间轴 (近 90 天)
10月16日
在 mini-vllm-rs 中，引入增量发布后，每个跟随请求可恢复 493 个提示词 token 中的 480 个。
待验证50%
10月16日
在 2、4、8 个并发请求的组别中，相比“完成才发布”，增量发布的平均 TTFT 下降了 48–93%。
待验证50%
LLM推理前缀缓存中的一种缓存页发布策略，在每次批量前向完成后立即发布新完成的缓存页，使缓存页在请求仍在生成时即可被其他请求复用
在 mini-vllm-rs 中，引入增量发布后，每个跟随请求可恢复 493 个提示词 token 中的 480 个。
在 2、4、8 个并发请求的组别中，相比“完成才发布”，增量发布的平均 TTFT 下降了 48–93%。