待验证50% 置信事实精确时间
预填充阶段是模型在处理用户输入时,为所有输入token构建键值缓存(KV Cache)的过程。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证prefill阶段负责处理输入prompt,一次性完成所有输入token的KV缓存计算;decode阶段逐个生成新token。79% 相似待验证Prefill 阶段处理完整输入上下文,为所有输入 token 计算注意力并生成 KV 缓存,属于计算密集型操作,耗时与输入长度强相关。78% 相似待验证Prefill 阶段需要一次性处理全部输入 token,属于计算密集型操作;Decode 阶段每步仅生成一个 token,属于内存带宽密集型操作73% 相似待验证vLLM的前缀缓存(Prefix Caching)对KV Cache块计算哈希值,当新请求输入前缀与已缓存请求重叠时直接复用物理缓存块,跳过该部分prefill计算73% 相似待验证缓存读取(Cache Read)是大型语言模型 API 中的一种计费与优化机制:当请求的前缀与之前某次请求完全一致时,服务商可以直接复用已计算好的键值缓存(KV Cache),而无需重新运行注意力计算。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1098943API
curl https://kongchang.com/api/v1/knowledge/claims/1098943MCP
get_claim(id=1098943)