待验证50% 置信事实精确时间
分块 prefill 将长 prompt 切成块分批计算，块大小和调度取决于当时其他请求的负载，因此同一长 prompt 在不同流量下会走不同的计算路径。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
vLLM temperature=0 竟非确定：200条评测23条翻转
rss2026/10/18
涉及实体
相关事实
待验证大模型服务商通常采用批处理技术提高吞吐量，连续批处理允许新请求动态插入正在处理的批次，而静态批处理需等待完整批次处理完毕69% 相似待验证连续批处理的核心思想是在每个迭代步骤中动态地将已完成的请求替换为新请求，以提升硬件利用率68% 相似已验证连续批处理（Continuous Batching）采用迭代级别的调度粒度，每完成一个 token 生成便可移出已完成请求并插入新请求68% 相似待验证应为每个请求设置工具调用次数、耗时和花费上限，触及上限时必须产生明确交接而非编造结果67% 相似待验证连续批处理在每一步解码后检查哪些序列已结束，并把新到达的请求动态插入空出的槽位，让每个解码步的批次始终填满。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1060916API
curl https://kongchang.com/api/v1/knowledge/claims/1060916MCP
get_claim(id=1060916)