[控场AI]
概念分块预填充

Chunked Prefill

一种将长Prompt切分成多个块并与解码步骤交错执行的推理优化技术,用于限制预填充步骤导致的ITL尖峰时长。

时间轴 (近 90 天)

10月16日

PagedAttention、Chunked Prefill和前缀缓存复用可以缓解TTFT抖动,但无法替代从架构层面限制上下文增长。

待验证50%

全部知识事实 (1)

来源文章