概念分块预填充
Chunked Prefill
一种将长Prompt切分成多个块并与解码步骤交错执行的推理优化技术,用于限制预填充步骤导致的ITL尖峰时长。
时间轴 (近 90 天)
10月16日
PagedAttention、Chunked Prefill和前缀缓存复用可以缓解TTFT抖动,但无法替代从架构层面限制上下文增长。
待验证50%
一种将长Prompt切分成多个块并与解码步骤交错执行的推理优化技术,用于限制预填充步骤导致的ITL尖峰时长。
PagedAttention、Chunked Prefill和前缀缓存复用可以缓解TTFT抖动,但无法替代从架构层面限制上下文增长。